🎧 Подкаст · Светлана

Кратко: Чек-лист видимости в ИИ начинается с техники: если ИИ-робот не видит ваш сайт, никакие тексты не помогут. Проверьте прямо сейчас 7 пунктов: robots.txt разрешает роботов ИИ-поиска (OAI-SearchBot, Claude-SearchBot, PerplexityBot), Cloudflare или файрвол их не блокирует, контент виден в HTML без JavaScript, есть структурированные данные, работают карта сайта и IndexNow, сайт добавлен в Google Search Console и Bing Webmaster Tools, страницы грузятся быстро. llms.txt – необязательное дополнение.

Большинство советов о видимости в ИИ – про контент. Но часто проблема проще: роботы ChatGPT, Claude и Perplexity вообще не могут попасть на ваш сайт или видят там пустую страницу. Этот чек-лист видимости в ИИ рассчитан на то, чтобы сделать его сразу: большинство пунктов занимает 10–30 минут.

1. Разрешает ли robots.txt роботов ИИ-поиска?

Откройте адрес ваш-сайт.ee/robots.txt. ИИ-компании используют разных роботов для разных целей, и их важно различать:

Компания Поиск и цитирование Обучение модели Запрос пользователя
OpenAI (ChatGPT) OAI-SearchBot GPTBot ChatGPT-User
Anthropic (Claude) Claude-SearchBot ClaudeBot Claude-User
Perplexity PerplexityBot – Perplexity-User
Google (Gemini, ИИ-обзоры) Googlebot Google-Extended –
Microsoft (Copilot) Bingbot – –

Главное: не блокируйте поисковых роботов. OpenAI прямо пишет, что сайты, закрытые от OAI-SearchBot, не показываются в ответах поиска ChatGPT. О роботах для обучения (GPTBot, ClaudeBot, Google-Extended) можно решать отдельно: Google-Extended не влияет ни на поиск Google, ни на ИИ-обзоры.

Пример robots.txt, который открывает сайт для ИИ-поиска:

# AI search: allow
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

# AI training: your choice (Allow or Disallow)
User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Google-Extended
Allow: /

Sitemap: https://example.ee/sitemap_index.xml

2. Не блокирует ли Cloudflare или файрвол ИИ-роботов?

robots.txt может быть в порядке, а робот всё равно не проходит. Причина часто в защите: в Cloudflare есть отдельные настройки блокировки ИИ-роботов и управления ботами, файрвол хостинга или защитный плагин WordPress может ограничивать незнакомых роботов. Проверьте:

3. Виден ли контент без JavaScript?

Многие ИИ-роботы не выполняют JavaScript – они читают только HTML, который отдал сервер. Если цены, описания услуг или FAQ подгружаются скриптом, ИИ увидит пустую страницу. Проверка: откройте страницу, нажмите Просмотр кода страницы (Ctrl+U) и найдите свой основной текст. Если его там нет, странице нужен серверный рендеринг. Страницы на WordPress обычно в порядке, но слайдеры, вкладки и калькуляторы цен стоит проверить.

4. Настроены ли структурированные данные?

Разметка Schema.org прямо говорит машине, кто вы и что предлагаете. Минимальный набор:

Проверьте результат в Google Rich Results Test и валидаторе Schema.org.

5. Работают ли карта сайта и IndexNow?

ИИ-поиск во многом опирается на индексы поисковых систем. Чем быстрее новая страница попадает в индекс, тем быстрее она может появиться в ответах ИИ. Убедитесь, что sitemap_index.xml указан в robots.txt и не содержит битых или перенаправленных адресов. Подключите IndexNow – он сразу сообщает Bing и другим поисковикам о новой или изменённой странице.

6. Добавлен ли сайт в Google Search Console и Bing Webmaster Tools?

Это единственные бесплатные инструменты, которые показывают видимость в ИИ из первоисточника:

7. Быстрый ли сайт?

Медленная страница может не дождаться робота, а плохой пользовательский опыт снижает и обычные позиции, от которых зависят ответы ИИ. Цель: LCP на мобильных до 2,5 секунды и быстрый ответ сервера под нагрузкой. Подробнее – как скорость влияет на SEO.

Нужен ли llms.txt?

llms.txt – предложенный в 2024 году файл с кратким описанием сайта и главными ссылками для ИИ. По данным 2026 года, крупные ИИ-роботы читают его редко, а Google говорит, что для поиска он не нужен. Добавить файл дёшево, он полезен инструментам разработчиков и ИИ-агентам, но не заменяет ни один пункт выше.

Чек-лист в одной таблице

# Проверка Время Кто делает
1 robots.txt разрешает OAI-SearchBot, Claude-SearchBot, PerplexityBot 10 мин Сами / разработчик
2 Cloudflare, файрвол и плагин защиты не блокируют 20 мин Разработчик
3 Основной текст есть в исходном коде (HTML) 10 мин Сами
4 Разметка Organization, Service, FAQ, Article 1–3 ч Разработчик
5 Карта сайта и IndexNow 30 мин Разработчик
6 Search Console и Bing Webmaster Tools 30 мин Сами
7 LCP до 2,5 с на мобильных по ситуации Разработчик

Когда техника в порядке, следующие шаги – контент, который цитирует ИИ, и страница цен, сравнения и FAQ. Подробнее: как открыть сайт для ChatGPT, Claude и Perplexity, разметка Schema.org для видимости в ИИ и что такое llms.txt. Чем это отличается от SEO, мы разобрали в статье видимость в ИИ или SEO.

Часто задаваемые вопросы

Если заблокировать GPTBot, сайт пропадёт из ChatGPT?

Нет. GPTBot собирает данные для обучения модели. За показ в поиске ChatGPT отвечает OAI-SearchBot – если он разрешён, GPTBot можно закрыть.

Если заблокировать Google-Extended, сайт пропадёт из ИИ-обзоров Google?

Нет. По словам Google, Google-Extended не влияет ни на поиск, ни на ИИ-обзоры. Ими управляет обычный Googlebot.

Как проверить, заходят ли ИИ-роботы на сайт?

Посмотрите в логах сервера или Cloudflare user-agent OAI-SearchBot, Claude-SearchBot и PerplexityBot и коды ответа. Код 403 означает блокировку.

Как быстро действуют изменения?

По данным OpenAI, изменение robots.txt для OAI-SearchBot вступает в силу примерно за 24 часа. Появление в ответах ИИ занимает больше времени: страница должна попасть в индекс и заслужить доверие.

Хотите, чтобы мы проверили эти 7 пунктов на вашем сайте? Запустите бесплатный аудит сайта, посмотрите услугу видимость в ИИ-поиске или свяжитесь с нами.

Источники

Заинтересовали наши подкасты? Оставьте свой e-mail!

Сообщим о новых статьях и подкастах — не чаще одного письма в день.

Отписаться можно в любой момент. Подробнее — в политике конфиденциальности.