AI-robotid: robots.txt ja Cloudflare

🎧 Podcast · Varvara

Lühidalt: Et ChatGPT, Claude ja Perplexity saaksid sinu lehte tsiteerida, peavad nende otsingu AI-robotid (OAI-SearchBot, Claude-SearchBot, PerplexityBot) lehele pääsema. Selleks kontrolli kolme kihti: robots.txt, Cloudflare või muu CDN ning serveri tulemüür ja WordPressi turvaplugin. Treeningu robotid (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended) on eraldi otsus – nende keelamine ei eemalda sind AI-otsingust. Kontrolli tulemust serveri logidest ja käsuga curl -A.

Paljud ettevõtted on AI-robotid kunagi „igaks juhuks“ blokeerinud – või on seda teinud hostingu, CDN-i või turvaplugina vaikeseade. Tulemus: ChatGPT ja Perplexity ei saa sinu lehte lugeda ning soovitavad konkurenti. Selles juhendis vaatame, millised AI-robotid on olemas, mida igaüks teeb ja kuidas lehe neile õigesti avada. Lühikese kontrollnimekirja leiad artiklist AI-nähtavuse kontrollnimekiri.

Millised AI-robotid sinu lehte külastavad?

Iga suur AI-ettevõte kasutab mitut robotit. Oluline on vahet teha kolmel rollil: otsing (leht ilmub AI-vastustes ja seda tsiteeritakse), treenimine (sisu võib minna mudeli õppematerjaliks) ja kasutaja päring (AI avab lehe, sest kasutaja küsis midagi just praegu).

Ettevõte	Robot	Roll	Kas järgib robots.txt-d?
OpenAI	OAI-SearchBot	ChatGPT otsing ja tsitaadid	Jah
OpenAI	GPTBot	Mudelite treenimine	Jah
OpenAI	ChatGPT-User	Kasutaja algatatud päring	Ei pruugi
OpenAI	OAI-AdsBot	ChatGPT reklaamide maandumislehtede kontroll	Külastab ainult reklaamina esitatud lehti
Anthropic	Claude-SearchBot	Claude’i otsingu indeks	Jah
Anthropic	ClaudeBot	Mudelite treenimine	Jah
Anthropic	Claude-User	Kasutaja algatatud päring	Jah, Anthropicu sõnul
Perplexity	PerplexityBot	Perplexity otsing (mitte treenimine)	Jah
Perplexity	Perplexity-User	Kasutaja algatatud päring	Üldjuhul ei
Google	Googlebot	Otsing, AI-ülevaated, AI Mode	Jah
Google	Google-Extended	Gemini mudelite treenimine ja grounding	Jah (ainult luba, eraldi robotit ei ole)
Microsoft	Bingbot	Bing ja Copilot	Jah
Apple	Applebot	Siri ja Spotlighti otsing	Jah
Apple	Applebot-Extended	Apple’i mudelite treenimine	Jah (ainult luba)

Millised AI-robotid lubada ja millised keelata?

Kui tahad AI-vastustes ilmuda, siis otsingu robotid peavad olema lubatud. OpenAI kirjutab otse, et lehti, mis on OAI-SearchBoti keelanud, ChatGPT otsingu vastustes ei näidata. Google’i AI-ülevaateid ja AI Mode’i juhib tavaline Googlebot – Google-Extendedi keelamine neid ei mõjuta.

Treeningu robotite kohta otsustad ise. Kui sinu sisu on sinu äri (näiteks tasulised juhendid või uuringud), võid GPTBoti, ClaudeBoti, Google-Extendedi ja Applebot-Extendedi keelata. Tavalise ettevõtte kodulehe jaoks, mille eesmärk on kliente leida, on mõistlik jätta kõik lahti.

Kuidas robots.txt AI-robotite jaoks seadistada?

robots.txt asub alati lehe juurkaustas, näiteks sinuleht.ee/robots.txt. Iga alamdomeen vajab oma faili. Siin on kaks valmis varianti.

Variant A: kõik lahti

# Variant A: everything open
User-agent: *
Allow: /

Sitemap: https://example.ee/sitemap_index.xml

Variant B: AI-otsing jah, treenimine ei

# Variant B: AI search yes, AI training no
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: *
Allow: /

Sitemap: https://example.ee/sitemap_index.xml

Pane tähele: kui robots.txt-s on reegel User-agent: * koos Disallow: /, on kõik robotid keelatud, ka need, mida eraldi ei nimetata. See juhtub sageli arenduskeskkonnast kopeeritud seadetega. WordPressis kontrolli ka valikut Seaded → Lugemine → Keela otsingumootoritel selle saidi indekseerimine.

Kas Cloudflare blokeerib AI-roboteid?

Võib blokeerida. Cloudflare’is on eraldi seaded AI-robotite blokeerimiseks ja botihalduseks, mis töötavad robots.txt-st sõltumata. Kui need on sees, saab robot vastuseks 403 isegi siis, kui robots.txt lubab. Kontrolli:

Cloudflare’i paneelis jaotises Security → Bots, kas AI-robotite blokeerimine on sisse lülitatud.
Kas Bot Fight Mode või Super Bot Fight Mode ei blokeeri ka kinnitatud roboteid (verified bots).
WAF-i reegleid: kas mõni kohandatud reegel ei blokeeri kasutajaagente, milles on sõna „bot“.
Turvalogi (Security → Events): otsi OAI-SearchBot, Claude-SearchBot ja PerplexityBot ning vaata, mis nendega tehti.

Kui tahad otsingu AI-roboteid lubada, aga treeningu roboteid keelata, tee see robots.txt-s või täpse WAF-i reegliga, mitte üldise „blokeeri kõik AI-robotid“ lülitiga.

Kas tulemüür või WordPressi turvaplugin võib AI-roboteid takistada?

Jah. Hostingu tulemüür, ModSecurity reeglid ja WordPressi turvapluginad piiravad sageli roboteid, mis teevad lühikese aja jooksul palju päringuid. Mida vaadata:

päringute piiramise (rate limiting) reeglid ja automaatsed IP-blokeeringud;
riikide blokeeringud – AI-robotid tulevad sageli USA andmekeskustest;
„halbade robotite“ nimekirjad, kuhu on vahel lisatud ka AI-robotid.

OpenAI ja Perplexity avaldavad oma robotite IP-vahemikud. Kui pead roboteid lubama IP järgi, kasuta neid ametlikke nimekirju, mitte juhuslikke foorumipostitusi.

Kuidas kontrollida, kas AI-robotid sinu lehele pääsevad?

Kõige lihtsam test on käsurealt saata päring roboti kasutajaagendiga:

curl -I -A "OAI-SearchBot" https://example.ee/
curl -I -A "Claude-SearchBot" https://example.ee/
curl -I -A "PerplexityBot" https://example.ee/

Vastus 200 on hea. 403 või 503 tähendab, et midagi blokeerib. See test näitab tulemüüri ja CDN-i reegleid, aga mitte kõike: Cloudflare võib päris robotit ja võltsitud kasutajaagenti eristada IP järgi. Seega vaata kindlasti ka serveri logisid: otsi neidsamu nimesid ja vastusekoode viimase 30 päeva jooksul.

Kas kasutaja algatatud robotid järgivad robots.txt-d?

Mitte alati. ChatGPT-User ja Perplexity-User avavad lehe, sest kasutaja küsis midagi just praegu – need ettevõtted käsitlevad seda kui inimese tegevust, mitte automaatset roomamist, ja robots.txt ei pruugi neid peatada. Anthropic ütleb, et Claude-User järgib robots.txt-d. Kui tahad mõnda neist kindlalt peatada, on vaja tulemüüri reeglit, kuid enamasti ei ole see ettevõtte kodulehe jaoks mõistlik: need päringud tähendavad, et keegi küsis sinu kohta.

Kui kiiresti muudatused mõjuvad?

OpenAI andmetel jõustub robots.txt muudatus OAI-SearchBoti jaoks umbes 24 tunniga. AI-vastustes ilmumine võtab aga kauem: leht peab olema indekseeritud, sisu peab vastama küsimusele ja allikas peab olema usaldusväärne. Järgmine samm on Schema.org märgendus, mis ütleb AI-le otse, kes sa oled, ja llms.txt, mis on valikuline lisa.

AI-robotite seadistamine lühidalt

Kiht	Mida kontrollida	Kes teeb
robots.txt	OAI-SearchBot, Claude-SearchBot, PerplexityBot on lubatud	Ise / arendaja
WordPress	Indekseerimise keeld on väljas	Ise
Cloudflare / CDN	AI-robotite blokeerimine, Bot Fight Mode, WAF	Arendaja
Server	Tulemüür, päringute piiramine, riikide blokeering	Hosting / arendaja
Kontroll	curl -A ja serveri logid: vastus 200	Arendaja

Korduma kippuvad küsimused

Kas GPTBoti keelamine eemaldab mu lehe ChatGPT-st?

Ei. GPTBot kogub andmeid treenimiseks. ChatGPT otsingus ilmumist juhib OAI-SearchBot. Kui see on lubatud, võid GPTBoti keelata.

Kas Cloudflare’i AI-robotite blokeerimine on sinu lehel sees?

Seda näed Cloudflare’i paneelis jaotises Security → Bots. Kontrolli ka Security → Events logi, kas OAI-SearchBot või PerplexityBot on saanud vastuse 403.

Kas Google-Extended peab AI-ülevaadete jaoks lubatud olema?

Ei. Google’i sõnul ei mõjuta Google-Extended Google’i otsingut ega AI-ülevaateid. Neid juhib tavaline Googlebot.

Kas AI-robotid koormavad serverit?

Tavaliselt vähe. Kui koormus on suur, piira päringute sagedust, mitte ära keela otsingu roboteid täielikult – Anthropic toetab ka robots.txt Crawl-delay reeglit.

Ei tea, kas sinu leht on AI-robotitele avatud? Kasuta tasuta kodulehe auditit, vaata teenust AI-nähtavus või võta ühendust – kontrollime robots.txt, Cloudflare’i ja serveri seaded üle.

Allikad

Sildid Ettevõtjale, SEO, Tehisintellekt