Buttondown eraldab AI-roomikud otsingurobotitest kolme lülitiga

Buttondowni 6. oktoobri 2026 septembriülevaade tutvustas uudiskirjaarhiivi kolme eraldi roomikulülitit: otsingumootoritele, AI-roomikutele ja teistele kraapijatele. Autor saab jätta tavalise veebiotsingu avatuks ning anda samal ajal AI-roomikutele eraldi keelujuhise. Valik puudutab Buttondownis majutatud veebiarhiivi indekseerimist, mitte e-postiga saadetud kirja jõudmist tellija postkasti.

Lülitid asuvad uudiskirja Settings-lehel Archives-jaotise Crawling-seadetes. Otsingu nähtavuse pärast ei pea AI-roomikute piiramisest loobuma: otsingumootorite valik jääb sisse, AI-roomikute oma läheb välja. Muud kraapijad moodustavad kolmanda rühma, millele autor määrab ligipääsu eraldi. Nii saab avaliku arhiivi otselingiga avatavana hoida ka siis, kui osa roomikuid on piiratud.

Varasemad noindex-valikud koondati uude seadesse

Buttondowni asutaja Justin Duke kirjutas 12. septembri 2026 selgituses senise kasutajaagentide loendi kohta: „People do not know or care about user agent strings”. Roomikute nimede käsitsi sisestamise asemel on arhiivi seadetes nüüd Crawling-lisafunktsioon. See asendas ka varasemad peidetud noindex-valikud, nii et otsingu välistamine ja muude roomikute piiramine on samas kohas, kuid eri otsused.

Otsingumootorite rühma paigutab Buttondown näiteks Googleboti, Bingboti, DuckDuckBoti ja Appleboti. AI-roomikute hulka kuuluvad GPTBot, ClaudeBot, CCBot, Google-Extended ning PerplexityBot. Ülejäänute rühmas on muu hulgas SEO-tööriistad, arhiivirobotid ja roomikud, mis end selgelt ei tuvasta. Selline jaotus käib roomiku liigi, mitte konkreetse veebilehe või uudiskirjanumbri järgi: ühe lüliti väljalülitamine muudab selle rühma käsitlust kogu arhiivis.

Uued lülitid on vaikimisi sisse lülitatud. Varem peidetud noindex-valikut või blokeeritud kasutajaagentide loendit kasutanud uudiskirjad viidi vastavatele uutele valikutele üle. Sellel on olemasoleva arhiivi jaoks tähtis tagajärg: pelgalt uue seadete jaotise lisandumine ei tähenda, et otsingumootorid oleksid nüüd välja lülitatud. Samas võib varem üksikute kasutajaagentide kohta tehtud erand muutuda uues vaates terve roomikurühma piiranguks.

Kolm profiili sõltuvad otsingumootorite valikust

Otsingumootorite lüliti määrab, kas arhiiv annab tavapärasele veebiotsingule indekseerimiseks loa. AI-roomikute valik puudutab eraldi nimetatud roomikuid; kolmas lüliti käsitleb ülejäänuid. Järgmised profiilid on nende valikute võimalikud kombinatsioonid, mitte Buttondowni eraldi nimetatud valmisrežiimid.

• Maksimaalne leitavus. Kõik kolm valikut jäävad sisse. Avalikud arhiivilehed saavad olla otsingumootoritele ja teistele roomikutele kättesaadavad. See sobib olukorda, kus autor soovib võimalikult laia levikut ning lubab ka AI-roomikutel ja muudel kraapijatel arhiivi läbida. Otsingutulemustes ilmumine sõltub siiski otsingumootori enda indekseerimisotsusest; lüliti ei taga kohta tulemustes.
• Otsingule avatud, AI-le piiratud arhiiv. Otsingumootorite lüliti jääb sisse ja AI-roomikute oma läheb välja. Autor võib jätta muud kraapijad lubatuks või piirata neid kolmanda valikuga. Selline seadistus säilitab võimaluse tulla välja tavalises veebiotsingus, kuid annab eraldi keelu Buttondowni AI-roomikute loendis olevatele kasutajaagentidele. Sparkpulse’i septembrikuu ülevaade toob otsingunähtavuse ja AI-roomikute ligipääsu eristuse esile kui muudatuse praktilise mõju.
• Kõigile roomikurühmadele piiratud arhiiv. Kõik kolm lülitit lähevad välja. Lisaks AI-roomikutele ja muudele kraapijatele annab see ka otsingumootoritele juhise lehti mitte indekseerida, vähendades arhiivi leitavust tavapärases otsingus. Juba indekseeritud lehtede eemaldamine võib siiski aega võtta. Veebiarhiiv jääb inimestele otselingi kaudu avatuks, kui selle nähtavus on endiselt seatud avalikuks.

Keskmise profiili mõte peitub just esimeses valikus. Varasem üldine noindex-käsk puudutas otsingumootoreid, kuigi autori soov võis olla piirata ainult AI-roomikuid. Nüüd saab autor neid eelistusi väljendada lahus ning lisaks otsustada, kas näiteks SEO-robot või veebiarhiveerija kuulub lubatud külastajate hulka. Valik ei erista siiski üksikuid AI-teenuseid: ühe AI-roomiku lubamiseks ja teise keelamiseks on vaja peenemat juhtimist kui see kolme lülitiga vaade.

Piirangu mõju sõltub domeenist ja roomikust

Crawling-lisafunktsioon on saadaval ka tasuta paketis, kuid AI-roomikute ja muude kraapijate keelu avaldamine robots.txt-failis eeldab kohandatud majutusdomeeni, mis on Buttondownis tasuline võimalus. Ilma sellise domeenita saavad need lülitid siiski blokeerida AI-roomikute tellimiskatseid ja lisada vastustele piirangumärgiseid. Autorile tähendab see, et samasugune valik seadete ekraanil ei anna kõigil arhiividomeenidel täpselt sama robots.txt-juhist.

Ka kohandatud domeeni korral on robots.txt ja veebivastuse märgised roomikule antavad juhised. Neid järgiv roomik arvestab keeluga; avalikku lehte tahtlikult kopeerivat programmi ei takista need tehniliselt avatud aadressi laadimast. Seetõttu väljendab lüliti autori avaldatud ligipääsueelistust, kuid ei võrdu ligipääsukontrolli ega garantiiga, et sisu ei satu mujale. Sama piirang kehtib kõigi kolme profiili puhul, ehkki nähtavuse kompromiss on neil erinev.

Roomiku keeld ei sulge arhiivi lugeja eest

Buttondowni arhiivis on lehe nähtavus ja roomikute indekseerimine eri seaded. Avalikuks jäetud veebiversioon on lugejale avatav ka siis, kui kõik roomikurühmad on välja lülitatud. Kui soov on piirata ka inimeste ligipääsu, tuleb muuta arhiivi nähtavust, näiteks lubada veebiversioon üksnes tellijatele. Roomikute lülitite keeramine sellist muutust ise ei tee.

Eristus puudutab eriti uudiskirju, mille avalikud numbrid on mõeldud jagamiseks otselingiga, kuid mille autor ei soovi neid otsingutulemustesse. Sellisel juhul võib otsingumootorite lüliti välja lülitada ja jätta arhiivi inimlugejale avatuks. Vastupidise eesmärgi korral, kui otsingust tulevad uued lugejad on olulised, saab otsingu avatuks jätta ning piirata AI-roomikuid. Avaliku kirja veebiaadressi olemasolu ja e-postiga saadetud numbri kättesaamine sellest ei muutu.

Loe ka:

• ChatGPT ja Gemini treeningust loobumine: üks lüliti ei kustuta kõike