Blokér AI-træning uden at miste AI-søgning

Du kan afvise crawl til mulig modeltræning og bevare muligheden for at optræde i AI-søgning ved at give hver bot sin egen regel i robots.txt. OpenAI’s botoversigt skelner mellem OAI-SearchBot til ChatGPT-søgning og GPTBot til indhold, der kan bruges ved modeltræning, og beskriver indstillingerne som uafhængige.

Claude kræver samme skelnen samt et valg om opslag, som en bruger selv sætter i gang. Anthropics botoversigt angiver Claude-SearchBot til søgning, ClaudeBot til indhold, der potentielt kan bidrage til træning, og Claude-User til brugerinitierede opslag. En afvisning af ClaudeBot signalerer, at fremtidigt indhold skal holdes ude af selskabets træningsdatasæt.

Vælg adgang for hver bot

Beslutningsmatricen her gælder et websted, der vil lade offentlige sider være tilgængelige for AI-søgning og afvise de særskilte træningsbots. Hvert botnavn hører til en User-agent-linje; Allow eller Disallow står på næste linje. Adskil grupperne med en tom linje i den faktiske robots.txt.

ChatGPT-søgning: User-agent: OAI-SearchBot efterfulgt af Allow: /. Det giver søgebotten adgang til de stier, som ikke begrænses af mere specifikke regler i dens gruppe.
OpenAI-træning: User-agent: GPTBot efterfulgt af Disallow: /. Det afviser denne bots crawl på hele værtsnavnet.
Brugeropslag i ChatGPT: ChatGPT-User er et særskilt botnavn, men en robots.txt-regel er ikke en pålidelig styring af disse brugerinitierede besøg. Den bestemmer heller ikke adgangen til ChatGPT-søgning.
Claude-søgning: User-agent: Claude-SearchBot efterfulgt af Allow: /, hvis denne søgebot skal kunne hente de offentlige sider.
Anthropic-træning: User-agent: ClaudeBot efterfulgt af Disallow: / for at afvise dens crawl på hele værtsnavnet.
Brugeropslag i Claude: User-agent: Claude-User efterfulgt af Allow: /, hvis Claude må hente sider på en brugers anmodning. Vælg Disallow: /, hvis den adgang også skal afvises.

Matricen er et udgangspunkt, ikke en garanti for placering eller omtale i et AI-svar. En tilladt søgebot får mulighed for at hente indholdet; den enkelte tjeneste afgør fortsat, hvilke sider den viser. Et generelt forbud mod alle AI-bots ville også ramme de søgebots, som opsætningen skal holde åbne.

Indsæt reglerne i den fil, webstedet leverer

Åbn /robots.txt på det værtsnavn, hvor indholdet ligger, og læs de eksisterende grupper før redigering. Nogle publiceringsplatforme genererer filen ud fra indstillinger, så ændringen skal foretages dér, hvor den faktisk overlever næste udgivelse. Kontrollér derefter den offentligt tilgængelige fil frem for kun at se på tekst i et administrationssystem.

Opret særskilte grupper til OAI-SearchBot og Claude-SearchBot. Brug Allow: /, hvis hele værtsnavnet er beregnet til offentlig crawl, og medtag de stier i hver gruppe, som fortsat skal være lukket.
Opret grupper til GPTBot og ClaudeBot med Disallow: /. Vil du kun afvise bestemte områder, skal du angive deres stier i stedet for skråstregen alene.
Fastlæg adgangen for Claude-User særskilt. Behandl ChatGPT-User som et særskilt spørgsmål, men lad OAI-SearchBot-reglen styre den automatiske adgang til ChatGPT-søgning.

Vær særlig opmærksom på en eksisterende gruppe for User-agent: *. En specifik gruppe kan blive behandlet i stedet for den generelle gruppe, så et nyt Allow: / må ikke utilsigtet åbne stier, du allerede havde afvist for alle bots. Kopiér relevante stiundtagelser ind i søgebottens egen gruppe, og læs den færdige fil igennem med hvert botnavn for sig. En forkert stavning rammer ikke den tilsigtede bot; et Disallow: / under en søgebot lukker den adgang, du ville bevare.

Brugerinitierede opslag er et selvstændigt valg

Claude-User får adgang til en offentlig artikel på brugerens anmodning, mens ClaudeBot afvises.

Claude-User handler om en anden vej til indholdet end Claude-SearchBots automatiske søgecrawl. Hvis Claude-User afvises, kan Claude ikke hente siden som svar på brugerens konkrete forespørgsel, selv om søgebotten fortsat har adgang. Det kan mindske synligheden ved brugerinitieret websøgning. For et websted, der gerne vil lade Claude åbne offentlige artikler på læserens anmodning, passer Allow: / derfor til formålet.

ChatGPT-User bruges også ved visse handlinger, som en bruger udløser, men robots.txt-regler gælder muligvis ikke for disse besøg. Sæt derfor ikke lighedstegn mellem et Disallow for ChatGPT-User og en sikker afvisning af brugeropslag. Det er OAI-SearchBot, der styrer det særskilte valg om automatisk crawl til ChatGPT-søgning.

Kontrollér hvert værtsnavn

Hoveddomæne og underdomæne har hver sin robots.txt, hvor reglerne for søge- og træningsbots skal kontrolleres.

En regel på hoveddomænet følger ikke automatisk med til et underdomæne. Googles robots.txt-specifikation afgrænser en fils regler til det værtsnavn, den protokol og den port, hvor filen ligger. Serverer eksempelvis hoveddomænet artikler og et underdomæne hjælpesider, skal hvert sted have sin egen relevante /robots.txt.

Gennemgå de adresser, der faktisk leverer offentligt indhold: hovedsite, hjælpecenter og eventuelle sprogversioner på egne underdomæner. Kontrollér søge-, trænings- og brugeropslagsreglerne på hvert af dem. Flere stier på samme værtsnavn styres i samme fil, mens en anden protokol eller port også kan kræve sin egen. Den afgrænsning er vigtig, når dele af webstedet flyttes uden at resten af konfigurationen ændres.

Hold botnavne og adgang ajour

Gem formålet med hver regel sammen med webstedets øvrige konfiguration. Når en udbyder ændrer sit botregister, eller platformen ændrer den genererede robots.txt, kan en gammel liste over agentnavne eller en overskrevet fil ændre den adgang, webstedet reelt giver. Sammenhold derfor de aktuelle navne med den fil, besøgende får, og kontrollér serverlog samt eventuelle regler i CDN eller firewall, hvis en tilladt søgebot ikke kan hente siderne.

En robots.txt-afvisning gælder crawlerens fremtidige adgang; den fjerner ikke indhold, som allerede er indsamlet. Den praktiske opsætning er at holde søgebotten åben på de ønskede offentlige stier, afvise træningsbotten og vælge brugerinitieret adgang efter den måde, læserne skal kunne nå indholdet på.

Læs også: