Lühidalt: AI-nähtavuse kontrollnimekiri algab tehnikast: kui AI-robot sinu lehte ei näe, ei aita ükski tekst. Kontrolli kohe 7 asja: robots.txt lubab AI-otsingu roboteid (OAI-SearchBot, Claude-SearchBot, PerplexityBot), Cloudflare või tulemüür ei blokeeri neid, sisu on HTML-is ilma JavaScriptita nähtav, struktureeritud andmed on paigas, saidikaart ja IndexNow töötavad, sait on lisatud Google Search Console’i ja Bing Webmaster Toolsi ning leht laeb kiiresti. llms.txt on valikuline lisa, mitte kohustus.
Enamik nõuandeid AI-nähtavuse kohta räägib sisust. Kuid sageli on probleem lihtsam: ChatGPT, Claude ja Perplexity robotid ei pääse sinu lehele üldse ligi või näevad seal tühja lehte. See AI-nähtavuse kontrollnimekiri on mõeldud tegemiseks kohe – enamik punkte võtab 10–30 minutit.
1. Kas robots.txt lubab AI-otsingu roboteid?
Ava aadress sinuleht.ee/robots.txt. AI-ettevõtted kasutavad eri roboteid eri eesmärkidel ja neid tuleb eristada:
| Ettevõte | Otsing ja tsiteerimine | Mudeli treenimine | Kasutaja päring |
|---|---|---|---|
| OpenAI (ChatGPT) | OAI-SearchBot | GPTBot | ChatGPT-User |
| Anthropic (Claude) | Claude-SearchBot | ClaudeBot | Claude-User |
| Perplexity | PerplexityBot | – | Perplexity-User |
| Google (Gemini, AI-ülevaated) | Googlebot | Google-Extended | – |
| Microsoft (Copilot) | Bingbot | – | – |
Kõige olulisem: ära blokeeri otsingu roboteid. OpenAI kirjutab otse, et lehti, mis on OAI-SearchBoti keelanud, ChatGPT otsingu vastustes ei näidata. Treeningu robotite (GPTBot, ClaudeBot, Google-Extended) kohta võid otsustada eraldi – Google-Extended ei mõjuta Google’i otsingut ega AI-ülevaateid.
Näide robots.txt-st, mis lubab AI-otsingu:
# AI search: allow
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
# AI training: your choice (Allow or Disallow)
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: Google-Extended
Allow: /
Sitemap: https://example.ee/sitemap_index.xml2. Kas Cloudflare või tulemüür ei blokeeri AI-roboteid?
robots.txt võib olla korras, aga robot ikkagi ei pääse ligi. Põhjus on sageli turvakihis: Cloudflare’is on eraldi seaded AI-robotite blokeerimiseks ja botihalduseks, hostingu tulemüür või WordPressi turvaplugin võib tundmatuid roboteid piirata. Kontrolli:
- Cloudflare’i jaotises Security → Bots, kas AI-robotite blokeerimine on sees.
- Serveri logidest, kas OAI-SearchBot, PerplexityBot ja Claude-SearchBot saavad vastuse 200 või 403.
- Turvapluginas (Wordfence jt), kas need robotid ei ole piiratud.
3. Kas sisu on nähtav ilma JavaScriptita?
Paljud AI-robotid ei käivita JavaScripti – nad loevad ainult serveri saadetud HTML-i. Kui sinu hinnad, teenuste kirjeldused või KKK laaditakse alles skriptiga, näeb AI tühja lehte. Kontroll: ava leht brauseris, vali Vaata lähtekoodi (Ctrl+U) ja otsi oma põhiteksti. Kui seda seal ei ole, vajab leht serveripoolset renderdamist. WordPressi lehed on tavaliselt korras, kuid sliderid, vahelehed ja hinnakalkulaatorid tasub üle kontrollida.
4. Kas struktureeritud andmed on paigas?
Schema.org märgendus ütleb masinale otse, kes sa oled ja mida pakud. Minimaalne komplekt:
- Organization või LocalBusiness: nimi, registrikood, aadress, telefon, logo, lahtiolekuajad, sameAs lingid profiilidele.
- Service või Product teenuste ja toodete lehtedel.
- FAQPage korduma kippuvate küsimuste plokkidele.
- Article ja Person blogipostitustele: autor, avaldamise ja uuendamise kuupäev.
Kontrolli tulemust Google’i Rich Results Testis ja Schema.org validaatoris.
5. Kas saidikaart ja IndexNow töötavad?
AI-otsingud tuginevad suuresti otsingumootorite indeksitele. Mida kiiremini uus leht indeksisse jõuab, seda kiiremini võib see AI-vastustesse ilmuda. Veendu, et sitemap_index.xml on robots.txt-s viidatud ja ei sisalda vigaseid ega suunatud URL-e. Lisa IndexNow – see teavitab Bingi ja teisi otsingumootoreid uuest või muudetud lehest kohe.
6. Kas sait on Google Search Console’is ja Bing Webmaster Toolsis?
Need on ainsad tasuta tööriistad, mis näitavad AI-nähtavust otse allikast:
- Google Search Console – indekseerimine, vead ja aruanne selle kohta, kuidas lehed ilmuvad Google’i AI-funktsioonides.
- Bing Webmaster Tools – alates 2026. aasta veebruarist AI Performance aruanne, mis näitab, mitu korda sinu lehti Copilotis ja Bingi AI-kokkuvõtetes tsiteeriti. Saidi saab importida otse Search Console’ist.
7. Kas leht on kiire ja stabiilne?
Aeglane leht võib robotil aeguda ja halb kasutajakogemus vähendab ka tavapositsioone, millest AI-vastused omakorda sõltuvad. Eesmärk: mobiilis LCP alla 2,5 sekundi ja server vastab kiiresti ka koormuse all. Vaata, kuidas kiirus SEO-d mõjutab.
Kas llms.txt on vajalik?
llms.txt on 2024. aastal pakutud fail, mis annab AI-le saidi lühikokkuvõtte ja olulisemad lingid. 2026. aasta andmetel loevad suured AI-robotid seda harva ja Google ütleb, et otsingu jaoks seda vaja ei ole. Faili lisamine on odav ja sellest on kasu arendustööriistadele ning AI-agentidele, kuid see ei asenda ühtegi ülalolevat punkti.
Kontrollnimekiri ühes tabelis
| # | Kontroll | Aeg | Kes teeb |
|---|---|---|---|
| 1 | robots.txt lubab OAI-SearchBot, Claude-SearchBot, PerplexityBot | 10 min | Ise / arendaja |
| 2 | Cloudflare, tulemüür ja turvaplugin ei blokeeri | 20 min | Arendaja |
| 3 | Põhitekst on lähtekoodis (HTML) | 10 min | Ise |
| 4 | Organization, Service, FAQ, Article schema | 1–3 h | Arendaja |
| 5 | Saidikaart ja IndexNow | 30 min | Arendaja |
| 6 | Search Console ja Bing Webmaster Tools | 30 min | Ise |
| 7 | LCP alla 2,5 s mobiilis | sõltub | Arendaja |
Kui tehnika on korras, on järgmised sammud sisu, mida AI tsiteerib ja hinnaleht, võrdlused ja KKK. Põhjalikumalt: AI-robotid, robots.txt ja Cloudflare, Schema.org AI-nähtavuse jaoks ja mis on llms.txt. Erinevust SEO-st selgitame artiklis AI-nähtavus vs SEO.
Korduma kippuvad küsimused
Kas GPTBoti blokeerimine eemaldab mind ChatGPT-st?
Ei. GPTBot kogub andmeid mudeli treenimiseks. ChatGPT otsingus ilmumist juhib OAI-SearchBot – kui see on lubatud, võid GPTBoti keelata.
Kas Google-Extendedi blokeerimine eemaldab mind Google’i AI-ülevaadetest?
Ei. Google’i sõnul ei mõjuta Google-Extended Google’i otsingut ega AI-ülevaateid. Neid juhib tavaline Googlebot.
Kuidas kontrollida, kas AI-robotid mu lehte külastavad?
Vaata serveri või Cloudflare’i logidest kasutajaagente OAI-SearchBot, Claude-SearchBot ja PerplexityBot ning nende vastusekoode. 403 tähendab blokeeringut.
Kui kiiresti muudatused mõjuvad?
OpenAI andmetel jõustub robots.txt muudatus OAI-SearchBoti jaoks umbes 24 tunniga. AI-vastustes ilmumine võtab kauem, sest leht peab olema indekseeritud ja piisavalt usaldusväärne.
Tahad, et kontrolliksime need 7 punkti sinu lehel? Kasuta tasuta kodulehe auditit, vaata teenust AI-nähtavus või võta ühendust.
Allikad
- OpenAI – Overview of OpenAI crawlers (OAI-SearchBot, GPTBot, ChatGPT-User)
- Anthropic – Does Anthropic crawl data from the web (ClaudeBot, Claude-SearchBot, Claude-User)
- Perplexity – Perplexity crawlers
- Google Search Central – Overview of Google crawlers and fetchers (Google-Extended)
- Google Search Central – AI features and your website
- Vercel – The rise of the AI crawler (JavaScript rendering)
- Search Engine Land – Bing Webmaster Tools AI Performance report
- PPC Land – llms.txt adoption rises, but most files get no AI requests
