Кратко: Чтобы ChatGPT, Claude и Perplexity могли цитировать ваш сайт, их поисковые ИИ-роботы (OAI-SearchBot, Claude-SearchBot, PerplexityBot) должны попадать на страницы. Проверьте три уровня: robots.txt, Cloudflare или другой CDN, а также файрвол сервера и защитный плагин WordPress. Роботы для обучения (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended) – отдельное решение: их блокировка не убирает сайт из ИИ-поиска. Результат проверяйте по логам сервера и командой curl -A.
Многие компании когда-то закрыли ИИ-роботов «на всякий случай» – или это сделала настройка хостинга, CDN или защитного плагина по умолчанию. В итоге ChatGPT и Perplexity не могут прочитать сайт и рекомендуют конкурента. Разбираем, какие ИИ-роботы существуют, что делает каждый и как правильно открыть для них сайт. Короткий список проверок – в статье чек-лист видимости в ИИ.
Какие ИИ-роботы заходят на ваш сайт?
У каждой крупной ИИ-компании несколько роботов. Важно различать три роли: поиск (страница появляется в ответах ИИ и цитируется), обучение (контент может попасть в обучающие данные модели) и запрос пользователя (ИИ открывает страницу, потому что пользователь спросил что-то прямо сейчас).
| Компания | Робот | Роль | Соблюдает robots.txt? |
|---|---|---|---|
| OpenAI | OAI-SearchBot | Поиск ChatGPT и цитаты | Да |
| OpenAI | GPTBot | Обучение моделей | Да |
| OpenAI | ChatGPT-User | Запрос пользователя | Не обязательно |
| OpenAI | OAI-AdsBot | Проверка посадочных страниц рекламы в ChatGPT | Заходит только на страницы из рекламы |
| Anthropic | Claude-SearchBot | Поисковый индекс Claude | Да |
| Anthropic | ClaudeBot | Обучение моделей | Да |
| Anthropic | Claude-User | Запрос пользователя | Да, по словам Anthropic |
| Perplexity | PerplexityBot | Поиск Perplexity (не обучение) | Да |
| Perplexity | Perplexity-User | Запрос пользователя | Как правило, нет |
| Googlebot | Поиск, ИИ-обзоры, AI Mode | Да | |
| Google-Extended | Обучение и grounding моделей Gemini | Да (только токен, отдельного робота нет) | |
| Microsoft | Bingbot | Bing и Copilot | Да |
| Apple | Applebot | Поиск Siri и Spotlight | Да |
| Apple | Applebot-Extended | Обучение моделей Apple | Да (только токен) |
Каких ИИ-роботов разрешить, а каких закрыть?
Если вы хотите появляться в ответах ИИ, поисковые роботы должны быть разрешены. OpenAI прямо пишет: сайты, закрытые от OAI-SearchBot, не показываются в ответах поиска ChatGPT. ИИ-обзорами и AI Mode в Google управляет обычный Googlebot – блокировка Google-Extended на них не влияет.
О роботах для обучения решаете сами. Если ваш контент – это и есть бизнес (платные руководства, исследования), GPTBot, ClaudeBot, Google-Extended и Applebot-Extended можно закрыть. Для обычного сайта компании, задача которого – находить клиентов, разумно оставить всё открытым.
Как настроить robots.txt для ИИ-роботов?
robots.txt всегда лежит в корне сайта, например ваш-сайт.ee/robots.txt. Каждому поддомену нужен свой файл. Вот два готовых варианта.
Вариант A: всё открыто
# Variant A: everything open
User-agent: *
Allow: /
Sitemap: https://example.ee/sitemap_index.xmlВариант B: ИИ-поиск – да, обучение – нет
# Variant B: AI search yes, AI training no
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: *
Allow: /
Sitemap: https://example.ee/sitemap_index.xmlОбратите внимание: если в robots.txt есть правило User-agent: * с Disallow: /, закрыты все роботы, в том числе те, что не названы отдельно. Так часто бывает с настройками, скопированными с тестовой версии сайта. В WordPress проверьте и пункт Настройки → Чтение → Попросить поисковые системы не индексировать сайт.
Блокирует ли Cloudflare ИИ-роботов?
Может. В Cloudflare есть отдельные настройки блокировки ИИ-роботов и управления ботами, и они работают независимо от robots.txt. Если они включены, робот получит ответ 403, даже когда robots.txt его разрешает. Проверьте:
- в панели Cloudflare, раздел Security → Bots, не включена ли блокировка ИИ-роботов;
- не блокирует ли Bot Fight Mode или Super Bot Fight Mode проверенных роботов (verified bots);
- правила WAF: нет ли собственного правила, которое закрывает user-agent со словом «bot»;
- журнал безопасности (Security → Events): найдите OAI-SearchBot, Claude-SearchBot и PerplexityBot и посмотрите, что с ними происходило.
Если поисковых ИИ-роботов нужно пустить, а роботов для обучения – нет, делайте это в robots.txt или точным правилом WAF, а не общим переключателем «заблокировать всех ИИ-роботов».
Может ли файрвол или защитный плагин WordPress мешать ИИ-роботам?
Да. Файрвол хостинга, правила ModSecurity и защитные плагины WordPress часто ограничивают роботов, которые делают много запросов за короткое время. Что проверить:
- правила ограничения частоты запросов (rate limiting) и автоматические блокировки по IP;
- блокировку по странам – ИИ-роботы часто приходят из дата-центров в США;
- списки «плохих роботов», в которые иногда попадают и ИИ-роботы.
OpenAI и Perplexity публикуют диапазоны IP-адресов своих роботов. Если нужно разрешать роботов по IP, используйте эти официальные списки, а не случайные сообщения на форумах.
Как проверить, проходят ли ИИ-роботы на сайт?
Самый простой тест – отправить запрос из командной строки с user-agent робота:
curl -I -A "OAI-SearchBot" https://example.ee/
curl -I -A "Claude-SearchBot" https://example.ee/
curl -I -A "PerplexityBot" https://example.ee/Ответ 200 – хорошо. 403 или 503 означает, что что-то блокирует. Этот тест показывает правила файрвола и CDN, но не всё: Cloudflare может отличать настоящего робота от подделанного user-agent по IP. Поэтому обязательно посмотрите логи сервера: найдите эти имена и коды ответа за последние 30 дней.
Соблюдают ли robots.txt роботы, которые действуют по запросу пользователя?
Не всегда. ChatGPT-User и Perplexity-User открывают страницу, потому что пользователь спросил что-то прямо сейчас. Эти компании считают это действием человека, а не автоматическим обходом, и robots.txt может их не остановить. Anthropic говорит, что Claude-User соблюдает robots.txt. Если какого-то из них нужно остановить наверняка, понадобится правило файрвола, но для сайта компании это обычно неразумно: такие запросы означают, что кто-то спросил о вас.
Как быстро действуют изменения?
По данным OpenAI, изменение robots.txt для OAI-SearchBot вступает в силу примерно за 24 часа. А вот появление в ответах ИИ занимает больше времени: страница должна попасть в индекс, отвечать на вопрос и быть надёжным источником. Следующий шаг – разметка Schema.org, которая прямо говорит ИИ, кто вы, и llms.txt как необязательное дополнение.
Настройка ИИ-роботов кратко
| Уровень | Что проверить | Кто делает |
|---|---|---|
| robots.txt | OAI-SearchBot, Claude-SearchBot, PerplexityBot разрешены | Сами / разработчик |
| WordPress | Запрет индексации выключен | Сами |
| Cloudflare / CDN | Блокировка ИИ-роботов, Bot Fight Mode, WAF | Разработчик |
| Сервер | Файрвол, ограничение запросов, блокировка стран | Хостинг / разработчик |
| Проверка | curl -A и логи сервера: ответ 200 | Разработчик |
Часто задаваемые вопросы
Если закрыть GPTBot, сайт пропадёт из ChatGPT?
Нет. GPTBot собирает данные для обучения. За показ в поиске ChatGPT отвечает OAI-SearchBot. Если он разрешён, GPTBot можно закрыть.
Как узнать, включена ли в Cloudflare блокировка ИИ-роботов?
Посмотрите раздел Security → Bots в панели Cloudflare. Проверьте и журнал Security → Events: не получали ли OAI-SearchBot или PerplexityBot ответ 403.
Нужно ли разрешать Google-Extended для ИИ-обзоров Google?
Нет. По словам Google, Google-Extended не влияет ни на поиск, ни на ИИ-обзоры. Ими управляет обычный Googlebot.
ИИ-роботы сильно нагружают сервер?
Обычно нет. Если нагрузка заметная, ограничьте частоту запросов, а не закрывайте поисковых роботов полностью. Anthropic, например, поддерживает правило Crawl-delay в robots.txt.
Не знаете, открыт ли ваш сайт для ИИ-роботов? Запустите бесплатный аудит сайта, посмотрите услугу видимость в ИИ-поиске или свяжитесь с нами – проверим robots.txt, Cloudflare и настройки сервера.
Источники
- OpenAI – Overview of OpenAI crawlers (OAI-SearchBot, GPTBot, ChatGPT-User, OAI-AdsBot)
- Anthropic – Does Anthropic crawl data from the web (ClaudeBot, Claude-SearchBot, Claude-User)
- Perplexity – Perplexity crawlers
- Google Search Central – Overview of Google crawlers and fetchers (Google-Extended)
- Google Search Central – AI features and your website
- Apple – About Applebot
- Cloudflare Docs – Bots
