Cloudflare mění pravidla hry: Blokování AI crawlerů může pohřbít váš web ve vyhledávačích

Cloudflare oznámil zásadní změnu v přístupu k řízení AI botů. Namísto dosavadního jednoduchého přepínače, který blokoval veškerý přístup umělé inteligence plošně, přichází nový systém klasifikace provozu podle skutečného chování robotů. Pro správce webů to přináší novou míru kontroly – ale zároveň skrytý a potenciálně velmi nepříjemný vedlejší efekt.

Třídění botů podle záměru, ne podle identity

Nový systém rozděluje veškerý automatizovaný provoz do tří jasně odlišených kategorií. První tvoří klasické vyhledávací roboty, jejichž úkolem je indexovat obsah stránek, zobrazovat výsledky ve vyhledávačích a přivádět organickou návštěvnost. Druhá kategorie zahrnuje tzv. real-time agenty – tedy systémy, které jednají na přímý pokyn uživatele, například v rámci ChatGPT nebo automatizovaných prohlížečů. Třetí a nejcitlivější kategorií jsou crawleři zaměřené výhradně na sběr dat pro trénink jazykových modelů.

Cloudflare touto změnou vyzývá provozovatele AI systémů, aby jasně deklarovali účel každého přístupu – a správcům webů tak umožňuje vědět, kdo jejich obsah čte a proč. Podle výroční zprávy Cloudflare přitom provoz spojený s tréninkem AI modelů již tvoří většinu všech požadavků na síti, přičemž ještě na jaře 2025 šlo „jen“ o 20 %.

Skryté riziko: zákaz AI tréninku = zmizení z Googlu

Nejzásadnější změny vstupují v platnost 15. září. Bezplatné účty, jejichž správci neprovedou vědomou konfiguraci v ovládacím panelu, automaticky zdědí restriktivní nastavení – tedy blokování AI agentů i trénovacích crawlerů na stránkách zobrazujících reklamu.

Právě zde se skrývá problém: roboti jako Googlebot nebo bot Applu fungují v hybridním režimu. Slouží zároveň k indexaci pro vyhledávač i ke sběru dat pro vlastní AI systémy dané společnosti. Cloudflare v novém nastavení vždy aplikuje přísnější z obou pravidel. Kdo tedy aktivuje úplné blokování tréninku AI, zablokuje tím automaticky i vyhledávací crawler – a jeho web může přestat být indexován.

Důsledky jsou přímočaré: propad organické návštěvnosti. A protože blokování probíhá na úrovni infrastruktury, nelze jej jednoduše obejít úpravou souboru robots.txt.

Co Cloudflare přidává jako nástroj transparentnosti

Součástí aktualizace je také nový adresář BotBase, který správcům umožňuje vyhledat klasifikaci konkrétního robota a pochopit, do které kategorie jej Cloudflare řadí. Platforma zároveň zavádí nové signály pro vyjádření preferencí ohledně použití obsahu, které mají do budoucna přesněji komunikovat omezení platná pro jednotlivé stránky. Pasivita se v tomto případě může prodražit ztrátou viditelnosti ve vyhledávačích, která je pro většinu digitálních byznysů životně důležitá.

Zdroj: engadget.com

Zdroj ilustračního obrázku: Photo by Lee Campbell on Unsplash