Jeden řádek v souboru robots.txt může nyní ovlivnit tři velmi odlišné věci: trénování modelu, objevitelnost ve vyhledávání a návštěvu stránky agentem jménem uživatele. Považovat je za jediné rozhodnutí o „AI“ vytváří dvě protichůdná rizika. Můžete zablokovat crawler, abyste ochránili svůj obsah, a v závislosti na crawleru a konfiguraci zároveň omezit jeho objevitelnost. Nebo můžete ponechat přístup otevřený, aniž byste věděli, zda váš vlastní web skutečně formuje odpovědi, které zákazníci vidí, zatímco modely si vytvářejí obrázek o vaší značce z externích zdrojů.

Nejnovější změny Cloudflare ukazují, proč jednoduchá otázka „povolit, nebo zablokovat?“ už nestačí. Majitelé webů stále častěji potřebují samostatně rozhodovat, kdo může přistupovat k jejich obsahu, k čemu jej smí používat a jak posoudit, zda je výsledek přesnou a užitečnou reprezentací značky v odpovědích generovaných AI.

Jeden crawler může sloužit více účelům

Cloudflare zavedl nastavení Disallow AI Training, které má majitelům webů umožnit odmítnout použití jejich obsahu pro trénování AI, aniž by automaticky blokovali přístup pro vyhledávání. Řeší to, co Cloudflare nazývá crawlery s více účely: boty, které mohou podporovat jak vyhledávání, tak i další generativní použití. Cloudflare vysvětluje změnu zde.

Rozdíl je důležitý. Cloudflare rozděluje aktivitu crawlerů do tří širokých kategorií:

vyhledávání – procházení za účelem vytvoření nebo udržení vyhledávacího indexu
trénování – procházení za účelem trénování nebo jemného doladění modelu
agent – uživatelem řízený agent navštěvující stránku jménem osoby

Vlastní označení Accountable od Cloudflare se vztahuje na operátory crawlerů, kteří poskytují nebo se zavázali poskytovat větší transparentnost a smysluplnější kontrolu pro vydavatele. Jedná se o důležitý vývoj, ale zatím to není univerzální standard pro celý web.

Stejná potřeba rozlišení se objevuje v dokumentaci samotných poskytovatelů AI. OpenAI odděluje OAI-SearchBot, používaný k zobrazování webů ve vyhledávacích funkcích ChatGPT, od GPTBot, který může procházet obsah pro použití při vývoji základních modelů. Rozlišuje také ChatGPT-User, který navštěvuje stránky v reakci na akce iniciované uživatelem. Dokumentace crawlerů OpenAI vysvětluje tyto role samostatně.

Google poskytuje další připomínku, že „AI“ není jeden systém. Googlebot řídí přístup pro Google Search, včetně AI Overviews a AI Mode. Google-Extended je používán aplikacemi Gemini a Vertex AI API pro Gemini. Dokumentace crawlerů Google a jeho průvodce funkcemi AI ve vyhledávání toto rozlišení explicitně uvádějí.

Nejedná se pouze o technické nastavení

Povolení nebo blokování crawleru může vypadat jako rozhodnutí o infrastruktuře. V praxi je to však také rozhodnutí o distribuci obsahu, kontrole zdrojů a obchodním modelu webu.

Vydavatel, který závisí na reklamě, může posuzovat agenty řízené uživateli a souhrny odpovědí jinak než B2B značka, která chce, aby její odborný obsah zůstal dostupný pro vyhledávání a odpovědi orientované na výzkum, zatímco odmítá jeho použití pro trénování modelů. E-commerce podnik musí navíc zvážit, zda jsou základní informace o produktech správně chápány a prezentovány, když AI pomáhá zákazníkovi porovnávat možnosti nebo se rozhodovat o nákupu.

Neexistuje žádná jediná konfigurace, která by dávala smysl pro každou doménu. Existuje však silný argument pro to, aby se rozhodnutí činilo na základě důkazů, spíše než reagovat pouze na obecnou nedůvěru k AI nebo strach ze ztráty viditelnosti.

Tři otázky, které si položit před změnou zásad pro crawlery

Pomáhá oddělit tři vrstvy, které jsou často považovány za jednu.

otázka	co pomáhá odpovědět	co monitorování odpovědí AI nemůže samo o sobě ukázat
kdo navštěvuje web?	logy serveru, CDN, WAF a správy botů	který crawler přistoupil k jaké URL a kdy
jaké použití obsahu je povoleno?	robots.txt, meta robots, X-Robots-Tag, konfigurace Cloudflare a dokumentace operátora	zda každý operátor použije obsah přesně v zamýšleném kontextu
jaký to má vliv na značku?	výzkum odpovědí AI, zdrojů, doporučení a nepřesností	jednoznačná kauzální souvislost mezi jedním procházením a jednou odpovědí

První dvě otázky se týkají řízení přístupu a deklarovaných preferencí. Třetí se týká výsledku, který vidí zákazníci: zda se značka objeví v odpovědi, jak je popsána, zda je doporučena a zda systém spoléhá na její oficiální zdroje.

Zde může Semantio přidat vrstvu, kterou samotné technické logy nemohou poskytnout.

Jak data Semantio mohou podpořit rozhodnutí o crawlery

Semantio nenahrazuje logy serveru a neidentifikuje provoz od jednotlivých crawlerů. Nemůže vám říci, zda konkrétní bot navštívil konkrétní stránku v konkrétní čas.

Může však poskytnout důkazy pro posouzení, zda je politika přístupu k obsahu v souladu s cíli značky.

Užitečným výchozím bodem je základní studie. Namísto kladení modelu obecné otázky, jako je „co víte o naší společnosti?“, by měl výzkum testovat scénáře, které odrážejí skutečná rozhodnutí zákazníků: výběr dodavatele, porovnávání produktů, kontrola specifikace, posouzení rizika, hledání doporučení nebo položení otázky po nákupu.

V rámci těchto scénářů může Semantio pomoci identifikovat:

zda se značka objevuje v odpovědích relevantních pro její kategorii a nabídku
zda je pouze zmíněna, nebo skutečně doporučena
zda modely přesně popisují její produkty, schopnosti, dosah a omezení
zda se odpovědi spoléhají na oficiální web značky, nebo primárně na externí zdroje
zda konkurenti dominují v konkrétních rozhodovacích situacích
jak se výsledky liší napříč modely, jazyky, trhy a opakovanými měřeními

To je důležité, když společnost zvažuje omezení přístupu napříč částí ekosystému AI. Pokud se oficiální doména již jeví jako důležitý zdroj pro přesnou reprezentaci značky, mělo by to ovlivnit rozhodnutí. Pokud modely do značné míry ignorují web společnosti a místo toho konstruují své odpovědi z zastaralých adresářů, fór nebo článků třetích stran, problém nemusí být samotný přístup crawleru. Může to být jasnost, aktuálnost a autorita zdrojů vlastního obsahu značky.

Pro podrobnější pohled na rozdíl mezi zmínkami, doporučeními, zdroji a kvalitou reprezentace viz Jak marketingové týmy mohou měřit viditelnost a reprezentaci značky v AI. Otázka, kdy odpověď AI čerpá z oficiálního webu značky spíše než z neověřeného zdroje třetí strany, je prozkoumána v Pochopení zdrojů pravdy.

Měřte před a po, ale nepředstírejte jistotu

Změna souboru robots.txt, pravidel WAF nebo konfigurace Cloudflare by neměla být považována za experiment s okamžitým a jednoznačným výsledkem.

Generativní odpovědi se liší. Závisí na modelu, datu, umístění, formulaci otázky, dostupných webových zdrojích a interních systémech používaných každou platformou. V mnoha případech není možné připsat konkrétní odpověď jednomu procházení nebo jedné URL.

Spolehlivější přístup je:

definovat scénáře, modely, jazyky a trhy, které jsou pro značku důležité
stanovit základní linii před změnou konfigurace
uchovat úplné odpovědi, citované zdroje, data a relevantní metadata výzkumu
provést technickou změnu záměrně a zdokumentovat její rozsah
opakovat studii s srovnatelným výzkumným designem
interpretovat výsledky spolu s logy procházení, daty CDN a dalšími změnami na webu nebo v širším prostředí značky

To automaticky nezakládá kauzalitu. Může však odhalit signály, které si zaslouží bližší prozkoumání: pokles citací oficiálního webu, rostoucí podíl nepřesných tvrzení, změnu zdrojů používaných modely nebo slabší doporučení v komerčně důležitých scénářích.

Data platformy a data o reprezentaci značky odpovídají na různé otázky

Toto rozlišení se stává praktičtějším, protože platformy začínají zveřejňovat svá vlastní data. V únoru 2026 Bing Webmaster Tools představil veřejnou ukázku AI Performance, která pokrývá Microsoft Copilot, souhrny generované AI v Bingu a vybrané partnerské integrace. Zaznamenává aktivitu citací, citované URL a vzorkované dotazy v průběhu času. Oznámení Microsoftu je obzvláště užitečné, protože ukazuje, jak může vypadat transparentnost na úrovni platformy v praxi.

Tato data mohou vydavateli pomoci zjistit, které z jeho URL Bing uvádí jako citované v podporovaných AI zkušenostech. Neříkají však celý příběh. Počet citací neukazuje, zda byla značka prezentována přesně, zda byla doporučena před konkurentem, nebo zda citovaná stránka ovlivnila smysluplné rozhodnutí zákazníka.

Zde se mohou obě vrstvy doplňovat. Bing Webmaster Tools mohou poskytnout důkazy na straně operátora o aktivitě citací v ekosystému Microsoftu. Semantio může testovat, jak je značka reprezentována v definovaných rozhodovacích scénářích napříč modely zahrnutými do studie. Logy serveru a CDN pak mohou poskytnout technické důkazy o přístupu crawleru.

Nejedná se o konkurenční datové sady. Popisují různé části stejného problému.

Co to neznamená

Robots.txt sám o sobě neřeší otázku kontroly nad obsahem. Je to primárně prohlášení o preferencích a jeho praktický účinek závisí na tom, zda a jak jej konkrétní operátor respektuje.

Blokování trénování modelu automaticky neznamená, že značka zmizí z odpovědí generovaných AI. Značka může být stále známa z jiných zdrojů, objevit se prostřednictvím vyhledávacích systémů nebo být načtena z živého webu pro konkrétní odpověď.

Značka by také neměla považovat pouhou přítomnost v odpovědi za úspěch. Může být zmíněna, aniž by byla doporučena, popsána nepřesně nebo prezentována prostřednictvím zastaralého zdroje třetí strany.

Nejužitečnější otázka proto není: „Měli bychom povolit AI přístup k našemu webu?“

Je to: Která použití našeho obsahu jsou kompatibilní s obchodním modelem značky, jak je můžeme technicky kontrolovat a co nám data říkají o účinku těchto rozhodnutí v odpovědích, které zákazníci skutečně vidí?