Jeden zápis v robots.txt má odmietnuť tréning AI, prehľadávanie však nezastaví

OpenAI v oznámení z 30. októbra 2026 prisľúbila, že bude rešpektovať spoločný signál v robots.txt pre odmietnutie použitia obsahu na tréning generatívnej AI, a označila ho za „praktický krok k otvorenému webu“. Jeho zavedenie plánuje až v nasledujúcich mesiacoch. Pre vydavateľov a prevádzkovateľov stránok je novinkou možnosť vyjadriť rovnakú preferenciu viacerým zapojeným poskytovateľom jednou skupinou pravidiel.

Technický návrh Kevina Kelleyho z 30. októbra 2026 predpisuje skupinu User-Agent: __usage_ai-training s riadkom Disallow: / pre odmietnutie tréningu na celom webe. Tento zápis vyjadruje preferenciu pri použití získaného obsahu; sám o sebe nebráni robotovi načítať stránku. Dokument je individuálny Internet-Draft bez schválenia IETF, preto ide zatiaľ o dobrovoľný mechanizmus, ktorého účinok závisí od podpory jednotlivých firiem.

Presný zápis a výnimka pre jednu cestu

Ak má nesúhlas platiť pre celý web, súbor robots.txt v koreňovom adresári webu potrebuje túto skupinu. Oba riadky patria k sebe:

• User-Agent: __usage_ai-training
• Disallow: /

Token __usage_ai-training označuje účel, pre ktorý sa obsah nemá použiť. Úvodné dvojité podčiarknutie je súčasťou jeho názvu, nie voliteľný zápis. Riadok Disallow: / sa v tejto skupine vzťahuje na všetky cesty webu. Návrh nepridáva nový príkaz ani novú syntax: používa existujúce riadky User-Agent, Allow a Disallow, takže netreba opakovať pravidlá pre každého robota.

Token nie je identifikátor robota, ktorý by sa musel objaviť v HTTP požiadavke. Je to značka politiky pre čitateľa súboru robots.txt. Pri návštevách stránky preto nemožno očakávať, že sa reťazec __usage_ai-training objaví v záznamoch servera; jeho neprítomnosť v logu nehovorí nič o tom, či poskytovateľ pravidlo vyložil.

Ak má časť webu zostať dostupná aj na tréning, návrh umožňuje výnimku podľa cesty. Nasledujúci príklad používa cestu /press-kit/ uvedenú v technickom návrhu; pravidlo odmieta tréning z ostatných ciest a pre obsah v tejto ceste vyjadruje súhlas:

• User-Agent: __usage_ai-training
• Disallow: /
• Allow: /press-kit/

Špecifickejšia cesta /press-kit/ má pri zhode prednosť pred všeobecným pravidlom pre celý web. Rozhoduje cesta požadovaného obsahu, nie typ súboru alebo autor stránky. Preto môže prevádzkovateľ vyjadriť odlišnú preferenciu pre určitý adresár bez vytvárania samostatného súboru robots.txt a bez zmeny pravidiel pre ďalšie časti webu.

Neprítomnosť skupiny __usage_ai-training znamená, že web touto metódou nevyjadril žiadnu preferenciu. Všeobecná skupina User-Agent: * sa za ňu nepovažuje, hoci môže byť v tom istom súbore. Poskytovateľ teda nemá z obyčajného pravidla pre všetkých crawlerov vyvodzovať konkrétny súhlas alebo nesúhlas s tréningom.

Odmietnutie tréningu nemení pravidlá návštevy

Nový token upravuje následné použitie obsahu, zatiaľ čo návštevu adresy naďalej riešia pravidlá pre identifikátor konkrétneho crawlera. Ak je napríklad jeho vlastnej skupine povolené prehľadávanie, pravidlo __usage_ai-training mu samo osebe návštevu nezakáže. Web, ktorý chce obmedziť aj prehľadávanie, musí na to použiť pravidlá určené príslušnému crawleru.

Poskytovateľ, ktorý zbiera stránky výlučne pre účel dotknutý signálom, sa môže rozhodnúť odmietnutý obsah vôbec nesťahovať. Návrh mu to umožňuje, ale neurčuje to ako povinný dôsledok zápisu. Z počtu návštev robota preto nemožno spätne vyčítať, či sa signál pri používaní obsahu rešpektuje; ide o rozdielne rozhodnutia v rozdielnych fázach spracovania.

Pre obsah je rozhodujúce znenie robots.txt platné v čase jeho získania. Nové pravidlo teda spätne neprepisuje podmienky starších kópií stránky ani samo nevyvolá vymazanie dát, ktoré poskytovateľ získal skôr. Tento časový princíp je dôležitý aj pri neskoršej zmene výnimiek: pri novom načítaní obsahu sa posudzuje aktuálne znenie súboru.

Vymedzený je aj samotný účel. Tréning v návrhu znamená použitie obsahu na zmenu naučených parametrov generatívneho modelu; modely používané výlučne na klasifikáciu, hodnotenie či radenie do tejto kategórie nepatria. Signál preto nehovorí všeobecne o každom použití textu v službách AI.

Podpora firiem má rozdielny harmonogram

Podľa prehľadu TechRadaru z 8. novembra 2026 Anthropic začala signál implementovať, OpenAI ho chce zaviesť v nasledujúcich mesiacoch, Microsoft plánuje rešpektovať preferenciu pri prehľadávaní od 1. februára 2027 a Google cieli na rok 2027; pri nesúhlase bez osobitného pravidla Google-Extended chce tento signál vykladať ako odmietnutie aj pre Google-Extended, ktorý ovplyvňuje odpovede Gemini Apps. Začiatok implementácie nie je potvrdením, že ju firma dokončila. Spoločné pravidlo tak má rozdielnu mieru pripravenosti u jednotlivých účastníkov.

Podpora spoločného zápisu tiež nemusí znamenať rovnaký výklad všetkých ostatných nastavení. Ak sa odmietnutie tréningu prepojí aj s inou voľbou, môže ovplyvniť, či služba obsah použije pri tvorbe odpovedí. To je pre vydavateľa odlišný dôsledok než vylúčenie obsahu z učenia modelu. Samostatné nastavenie pre ďalší účel preto zostáva dôležité aj pri zavedení spoločného tokenu.

Individuálny návrh navyše pripúšťa, že konkrétnejšie pravidlo poskytovateľa alebo súkromná dohoda môže mať pred všeobecným signálom prednosť. Pri najbližšom presne ohlásenom termíne bude rozhodujúce, ako sa prísľub premietne do skutočných pravidiel a či poskytovateľ oddelí tréning od iného využitia obsahu.

Prečítajte si aj:

• Claude vstúpi do Webexu ako kolega, firmy však musia strážiť jeho kontext
• Slack po pracovnom čase stíchne, urgentná správa však môže prejsť
• Export z Patreonu: zoznam členov a nákupy nie sú jeden súbor