Lühidalt: Et ChatGPT, Claude ja Perplexity saaksid sinu lehte tsiteerida, peavad nende otsingu AI-robotid (OAI-SearchBot, Claude-SearchBot, PerplexityBot) lehele pääsema. Selleks kontrolli kolme kihti: robots.txt, Cloudflare või muu CDN ning serveri tulemüür ja WordPressi turvaplugin. Treeningu robotid (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended) on eraldi otsus – nende keelamine ei eemalda sind AI-otsingust. Kontrolli tulemust serveri logidest ja käsuga curl -A.
Paljud ettevõtted on AI-robotid kunagi „igaks juhuks“ blokeerinud – või on seda teinud hostingu, CDN-i või turvaplugina vaikeseade. Tulemus: ChatGPT ja Perplexity ei saa sinu lehte lugeda ning soovitavad konkurenti. Selles juhendis vaatame, millised AI-robotid on olemas, mida igaüks teeb ja kuidas lehe neile õigesti avada. Lühikese kontrollnimekirja leiad artiklist AI-nähtavuse kontrollnimekiri.
Millised AI-robotid sinu lehte külastavad?
Iga suur AI-ettevõte kasutab mitut robotit. Oluline on vahet teha kolmel rollil: otsing (leht ilmub AI-vastustes ja seda tsiteeritakse), treenimine (sisu võib minna mudeli õppematerjaliks) ja kasutaja päring (AI avab lehe, sest kasutaja küsis midagi just praegu).
| Ettevõte | Robot | Roll | Kas järgib robots.txt-d? |
|---|---|---|---|
| OpenAI | OAI-SearchBot | ChatGPT otsing ja tsitaadid | Jah |
| OpenAI | GPTBot | Mudelite treenimine | Jah |
| OpenAI | ChatGPT-User | Kasutaja algatatud päring | Ei pruugi |
| OpenAI | OAI-AdsBot | ChatGPT reklaamide maandumislehtede kontroll | Külastab ainult reklaamina esitatud lehti |
| Anthropic | Claude-SearchBot | Claude’i otsingu indeks | Jah |
| Anthropic | ClaudeBot | Mudelite treenimine | Jah |
| Anthropic | Claude-User | Kasutaja algatatud päring | Jah, Anthropicu sõnul |
| Perplexity | PerplexityBot | Perplexity otsing (mitte treenimine) | Jah |
| Perplexity | Perplexity-User | Kasutaja algatatud päring | Üldjuhul ei |
| Googlebot | Otsing, AI-ülevaated, AI Mode | Jah | |
| Google-Extended | Gemini mudelite treenimine ja grounding | Jah (ainult luba, eraldi robotit ei ole) | |
| Microsoft | Bingbot | Bing ja Copilot | Jah |
| Apple | Applebot | Siri ja Spotlighti otsing | Jah |
| Apple | Applebot-Extended | Apple’i mudelite treenimine | Jah (ainult luba) |
Millised AI-robotid lubada ja millised keelata?
Kui tahad AI-vastustes ilmuda, siis otsingu robotid peavad olema lubatud. OpenAI kirjutab otse, et lehti, mis on OAI-SearchBoti keelanud, ChatGPT otsingu vastustes ei näidata. Google’i AI-ülevaateid ja AI Mode’i juhib tavaline Googlebot – Google-Extendedi keelamine neid ei mõjuta.
Treeningu robotite kohta otsustad ise. Kui sinu sisu on sinu äri (näiteks tasulised juhendid või uuringud), võid GPTBoti, ClaudeBoti, Google-Extendedi ja Applebot-Extendedi keelata. Tavalise ettevõtte kodulehe jaoks, mille eesmärk on kliente leida, on mõistlik jätta kõik lahti.
Kuidas robots.txt AI-robotite jaoks seadistada?
robots.txt asub alati lehe juurkaustas, näiteks sinuleht.ee/robots.txt. Iga alamdomeen vajab oma faili. Siin on kaks valmis varianti.
Variant A: kõik lahti
# Variant A: everything open
User-agent: *
Allow: /
Sitemap: https://example.ee/sitemap_index.xmlVariant B: AI-otsing jah, treenimine ei
# Variant B: AI search yes, AI training no
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: *
Allow: /
Sitemap: https://example.ee/sitemap_index.xmlPane tähele: kui robots.txt-s on reegel User-agent: * koos Disallow: /, on kõik robotid keelatud, ka need, mida eraldi ei nimetata. See juhtub sageli arenduskeskkonnast kopeeritud seadetega. WordPressis kontrolli ka valikut Seaded → Lugemine → Keela otsingumootoritel selle saidi indekseerimine.
Kas Cloudflare blokeerib AI-roboteid?
Võib blokeerida. Cloudflare’is on eraldi seaded AI-robotite blokeerimiseks ja botihalduseks, mis töötavad robots.txt-st sõltumata. Kui need on sees, saab robot vastuseks 403 isegi siis, kui robots.txt lubab. Kontrolli:
- Cloudflare’i paneelis jaotises Security → Bots, kas AI-robotite blokeerimine on sisse lülitatud.
- Kas Bot Fight Mode või Super Bot Fight Mode ei blokeeri ka kinnitatud roboteid (verified bots).
- WAF-i reegleid: kas mõni kohandatud reegel ei blokeeri kasutajaagente, milles on sõna „bot“.
- Turvalogi (Security → Events): otsi OAI-SearchBot, Claude-SearchBot ja PerplexityBot ning vaata, mis nendega tehti.
Kui tahad otsingu AI-roboteid lubada, aga treeningu roboteid keelata, tee see robots.txt-s või täpse WAF-i reegliga, mitte üldise „blokeeri kõik AI-robotid“ lülitiga.
Kas tulemüür või WordPressi turvaplugin võib AI-roboteid takistada?
Jah. Hostingu tulemüür, ModSecurity reeglid ja WordPressi turvapluginad piiravad sageli roboteid, mis teevad lühikese aja jooksul palju päringuid. Mida vaadata:
- päringute piiramise (rate limiting) reeglid ja automaatsed IP-blokeeringud;
- riikide blokeeringud – AI-robotid tulevad sageli USA andmekeskustest;
- „halbade robotite“ nimekirjad, kuhu on vahel lisatud ka AI-robotid.
OpenAI ja Perplexity avaldavad oma robotite IP-vahemikud. Kui pead roboteid lubama IP järgi, kasuta neid ametlikke nimekirju, mitte juhuslikke foorumipostitusi.
Kuidas kontrollida, kas AI-robotid sinu lehele pääsevad?
Kõige lihtsam test on käsurealt saata päring roboti kasutajaagendiga:
curl -I -A "OAI-SearchBot" https://example.ee/
curl -I -A "Claude-SearchBot" https://example.ee/
curl -I -A "PerplexityBot" https://example.ee/Vastus 200 on hea. 403 või 503 tähendab, et midagi blokeerib. See test näitab tulemüüri ja CDN-i reegleid, aga mitte kõike: Cloudflare võib päris robotit ja võltsitud kasutajaagenti eristada IP järgi. Seega vaata kindlasti ka serveri logisid: otsi neidsamu nimesid ja vastusekoode viimase 30 päeva jooksul.
Kas kasutaja algatatud robotid järgivad robots.txt-d?
Mitte alati. ChatGPT-User ja Perplexity-User avavad lehe, sest kasutaja küsis midagi just praegu – need ettevõtted käsitlevad seda kui inimese tegevust, mitte automaatset roomamist, ja robots.txt ei pruugi neid peatada. Anthropic ütleb, et Claude-User järgib robots.txt-d. Kui tahad mõnda neist kindlalt peatada, on vaja tulemüüri reeglit, kuid enamasti ei ole see ettevõtte kodulehe jaoks mõistlik: need päringud tähendavad, et keegi küsis sinu kohta.
Kui kiiresti muudatused mõjuvad?
OpenAI andmetel jõustub robots.txt muudatus OAI-SearchBoti jaoks umbes 24 tunniga. AI-vastustes ilmumine võtab aga kauem: leht peab olema indekseeritud, sisu peab vastama küsimusele ja allikas peab olema usaldusväärne. Järgmine samm on Schema.org märgendus, mis ütleb AI-le otse, kes sa oled, ja llms.txt, mis on valikuline lisa.
AI-robotite seadistamine lühidalt
| Kiht | Mida kontrollida | Kes teeb |
|---|---|---|
| robots.txt | OAI-SearchBot, Claude-SearchBot, PerplexityBot on lubatud | Ise / arendaja |
| WordPress | Indekseerimise keeld on väljas | Ise |
| Cloudflare / CDN | AI-robotite blokeerimine, Bot Fight Mode, WAF | Arendaja |
| Server | Tulemüür, päringute piiramine, riikide blokeering | Hosting / arendaja |
| Kontroll | curl -A ja serveri logid: vastus 200 | Arendaja |
Korduma kippuvad küsimused
Kas GPTBoti keelamine eemaldab mu lehe ChatGPT-st?
Ei. GPTBot kogub andmeid treenimiseks. ChatGPT otsingus ilmumist juhib OAI-SearchBot. Kui see on lubatud, võid GPTBoti keelata.
Kas Cloudflare’i AI-robotite blokeerimine on sinu lehel sees?
Seda näed Cloudflare’i paneelis jaotises Security → Bots. Kontrolli ka Security → Events logi, kas OAI-SearchBot või PerplexityBot on saanud vastuse 403.
Kas Google-Extended peab AI-ülevaadete jaoks lubatud olema?
Ei. Google’i sõnul ei mõjuta Google-Extended Google’i otsingut ega AI-ülevaateid. Neid juhib tavaline Googlebot.
Kas AI-robotid koormavad serverit?
Tavaliselt vähe. Kui koormus on suur, piira päringute sagedust, mitte ära keela otsingu roboteid täielikult – Anthropic toetab ka robots.txt Crawl-delay reeglit.
Ei tea, kas sinu leht on AI-robotitele avatud? Kasuta tasuta kodulehe auditit, vaata teenust AI-nähtavus või võta ühendust – kontrollime robots.txt, Cloudflare’i ja serveri seaded üle.
Allikad
- OpenAI – Overview of OpenAI crawlers (OAI-SearchBot, GPTBot, ChatGPT-User, OAI-AdsBot)
- Anthropic – Does Anthropic crawl data from the web (ClaudeBot, Claude-SearchBot, Claude-User)
- Perplexity – Perplexity crawlers
- Google Search Central – Overview of Google crawlers and fetchers (Google-Extended)
- Google Search Central – AI features and your website
- Apple – About Applebot
- Cloudflare Docs – Bots
