Кратко: Чек-лист видимости в ИИ начинается с техники: если ИИ-робот не видит ваш сайт, никакие тексты не помогут. Проверьте прямо сейчас 7 пунктов: robots.txt разрешает роботов ИИ-поиска (OAI-SearchBot, Claude-SearchBot, PerplexityBot), Cloudflare или файрвол их не блокирует, контент виден в HTML без JavaScript, есть структурированные данные, работают карта сайта и IndexNow, сайт добавлен в Google Search Console и Bing Webmaster Tools, страницы грузятся быстро. llms.txt – необязательное дополнение.
Большинство советов о видимости в ИИ – про контент. Но часто проблема проще: роботы ChatGPT, Claude и Perplexity вообще не могут попасть на ваш сайт или видят там пустую страницу. Этот чек-лист видимости в ИИ рассчитан на то, чтобы сделать его сразу: большинство пунктов занимает 10–30 минут.
1. Разрешает ли robots.txt роботов ИИ-поиска?
Откройте адрес ваш-сайт.ee/robots.txt. ИИ-компании используют разных роботов для разных целей, и их важно различать:
| Компания | Поиск и цитирование | Обучение модели | Запрос пользователя |
|---|---|---|---|
| OpenAI (ChatGPT) | OAI-SearchBot | GPTBot | ChatGPT-User |
| Anthropic (Claude) | Claude-SearchBot | ClaudeBot | Claude-User |
| Perplexity | PerplexityBot | – | Perplexity-User |
| Google (Gemini, ИИ-обзоры) | Googlebot | Google-Extended | – |
| Microsoft (Copilot) | Bingbot | – | – |
Главное: не блокируйте поисковых роботов. OpenAI прямо пишет, что сайты, закрытые от OAI-SearchBot, не показываются в ответах поиска ChatGPT. О роботах для обучения (GPTBot, ClaudeBot, Google-Extended) можно решать отдельно: Google-Extended не влияет ни на поиск Google, ни на ИИ-обзоры.
Пример robots.txt, который открывает сайт для ИИ-поиска:
# AI search: allow
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
# AI training: your choice (Allow or Disallow)
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: Google-Extended
Allow: /
Sitemap: https://example.ee/sitemap_index.xml
2. Не блокирует ли Cloudflare или файрвол ИИ-роботов?
robots.txt может быть в порядке, а робот всё равно не проходит. Причина часто в защите: в Cloudflare есть отдельные настройки блокировки ИИ-роботов и управления ботами, файрвол хостинга или защитный плагин WordPress может ограничивать незнакомых роботов. Проверьте:
- в Cloudflare, раздел Security → Bots, не включена ли блокировка ИИ-роботов;
- по логам сервера, получают ли OAI-SearchBot, PerplexityBot и Claude-SearchBot ответ 200 или 403;
- в защитном плагине (Wordfence и др.), не ограничены ли эти роботы.
3. Виден ли контент без JavaScript?
Многие ИИ-роботы не выполняют JavaScript – они читают только HTML, который отдал сервер. Если цены, описания услуг или FAQ подгружаются скриптом, ИИ увидит пустую страницу. Проверка: откройте страницу, нажмите Просмотр кода страницы (Ctrl+U) и найдите свой основной текст. Если его там нет, странице нужен серверный рендеринг. Страницы на WordPress обычно в порядке, но слайдеры, вкладки и калькуляторы цен стоит проверить.
4. Настроены ли структурированные данные?
Разметка Schema.org прямо говорит машине, кто вы и что предлагаете. Минимальный набор:
- Organization или LocalBusiness: название, регистрационный код, адрес, телефон, логотип, часы работы, ссылки sameAs на профили;
- Service или Product на страницах услуг и товаров;
- FAQPage для блоков с вопросами;
- Article и Person для статей блога: автор, дата публикации и обновления.
Проверьте результат в Google Rich Results Test и валидаторе Schema.org.
5. Работают ли карта сайта и IndexNow?
ИИ-поиск во многом опирается на индексы поисковых систем. Чем быстрее новая страница попадает в индекс, тем быстрее она может появиться в ответах ИИ. Убедитесь, что sitemap_index.xml указан в robots.txt и не содержит битых или перенаправленных адресов. Подключите IndexNow – он сразу сообщает Bing и другим поисковикам о новой или изменённой странице.
6. Добавлен ли сайт в Google Search Console и Bing Webmaster Tools?
Это единственные бесплатные инструменты, которые показывают видимость в ИИ из первоисточника:
- Google Search Console – индексация, ошибки и отчёт о том, как страницы появляются в ИИ-функциях Google;
- Bing Webmaster Tools – с февраля 2026 года отчёт AI Performance: сколько раз ваши страницы цитировались в Copilot и ИИ-сводках Bing. Сайт можно импортировать прямо из Search Console.
7. Быстрый ли сайт?
Медленная страница может не дождаться робота, а плохой пользовательский опыт снижает и обычные позиции, от которых зависят ответы ИИ. Цель: LCP на мобильных до 2,5 секунды и быстрый ответ сервера под нагрузкой. Подробнее – как скорость влияет на SEO.
Нужен ли llms.txt?
llms.txt – предложенный в 2024 году файл с кратким описанием сайта и главными ссылками для ИИ. По данным 2026 года, крупные ИИ-роботы читают его редко, а Google говорит, что для поиска он не нужен. Добавить файл дёшево, он полезен инструментам разработчиков и ИИ-агентам, но не заменяет ни один пункт выше.
Чек-лист в одной таблице
| # | Проверка | Время | Кто делает |
|---|---|---|---|
| 1 | robots.txt разрешает OAI-SearchBot, Claude-SearchBot, PerplexityBot | 10 мин | Сами / разработчик |
| 2 | Cloudflare, файрвол и плагин защиты не блокируют | 20 мин | Разработчик |
| 3 | Основной текст есть в исходном коде (HTML) | 10 мин | Сами |
| 4 | Разметка Organization, Service, FAQ, Article | 1–3 ч | Разработчик |
| 5 | Карта сайта и IndexNow | 30 мин | Разработчик |
| 6 | Search Console и Bing Webmaster Tools | 30 мин | Сами |
| 7 | LCP до 2,5 с на мобильных | по ситуации | Разработчик |
Когда техника в порядке, следующие шаги – контент, который цитирует ИИ, и страница цен, сравнения и FAQ. Подробнее: как открыть сайт для ChatGPT, Claude и Perplexity, разметка Schema.org для видимости в ИИ и что такое llms.txt. Чем это отличается от SEO, мы разобрали в статье видимость в ИИ или SEO.
Часто задаваемые вопросы
Если заблокировать GPTBot, сайт пропадёт из ChatGPT?
Нет. GPTBot собирает данные для обучения модели. За показ в поиске ChatGPT отвечает OAI-SearchBot – если он разрешён, GPTBot можно закрыть.
Если заблокировать Google-Extended, сайт пропадёт из ИИ-обзоров Google?
Нет. По словам Google, Google-Extended не влияет ни на поиск, ни на ИИ-обзоры. Ими управляет обычный Googlebot.
Как проверить, заходят ли ИИ-роботы на сайт?
Посмотрите в логах сервера или Cloudflare user-agent OAI-SearchBot, Claude-SearchBot и PerplexityBot и коды ответа. Код 403 означает блокировку.
Как быстро действуют изменения?
По данным OpenAI, изменение robots.txt для OAI-SearchBot вступает в силу примерно за 24 часа. Появление в ответах ИИ занимает больше времени: страница должна попасть в индекс и заслужить доверие.
Хотите, чтобы мы проверили эти 7 пунктов на вашем сайте? Запустите бесплатный аудит сайта, посмотрите услугу видимость в ИИ-поиске или свяжитесь с нами.
Источники
- OpenAI – Overview of OpenAI crawlers (OAI-SearchBot, GPTBot, ChatGPT-User)
- Anthropic – Does Anthropic crawl data from the web (ClaudeBot, Claude-SearchBot, Claude-User)
- Perplexity – Perplexity crawlers
- Google Search Central – Overview of Google crawlers and fetchers (Google-Extended)
- Google Search Central – AI features and your website
- Vercel – The rise of the AI crawler (JavaScript rendering)
- Search Engine Land – Bing Webmaster Tools AI Performance report
- PPC Land – llms.txt adoption rises, but most files get no AI requests




