# GPTBot, ClaudeBot и robots.txt: как управлять AI-краулерами > AI-боты OpenAI, Anthropic, Google, Perplexity, Apple, Meta и Яндекса: три класса (обучение, поиск, запрос пользователя), что слушается robots.txt и шаблон настройки Страница: https://llms-full-txt.ru/guides/ai-crawlers/ Указатель сайта: https://llms-full-txt.ru/llms.txt Боты ИИ-компаний делятся на три класса: обучение, поиск и запрос пользователя. Правила для них разные, и запрет одного класса не запрещает другой. Управляет доступом `robots.txt`. `llms.txt` ничего не запрещает: он только показывает, где главное. - Проверено: 3 октября 2026 - Источник: страницы владельцев ботов - Владельцев в таблице: 12 Списки меняются. Перед настройкой сверьтесь со страницей владельца: ссылки собраны в конце. ## Три класса ботов - Кто приходит на сайт и что его останавливает - Обучение - сам, по расписанию - Бот для обучения - GPTBot, ClaudeBot - robots.txt - слушается - Набор данных - может пойти в обучение моделей - Поиск - сам, по расписанию - Поисковый бот - OAI-SearchBot, PerplexityBot - robots.txt - слушается - Индекс - страница в ответе со ссылкой - Запрос пользователя - по просьбе человека - Человек - даёт ссылку или задаёт вопрос - Ассистент - ChatGPT-User, Claude-User - robots.txt - часто не действует ## Все боты по владельцам | Владелец | Обучение | Поиск | Запрос пользователя | |---|---|---|---| | OpenAI | `GPTBot` - содержание может пойти в обучение моделей | `OAI-SearchBot` - показ в поиске ChatGPT; правило действует примерно через сутки | `ChatGPT-User` - правила могут не применяться | | Anthropic | `ClaudeBot` - может пойти в обучение; понимает Crawl-delay | `Claude-SearchBot` - качество поисковых результатов | `Claude-User` - запрет не даёт получить страницу | | Google | `Google-Extended` - управляющее имя, отдельного бота нет: обучение Gemini | `Googlebot` - он же управляет AI Overviews и AI Mode | `Google-Agent` - как правило, игнорирует; то же у Google-NotebookLM | | Perplexity | нет | `PerplexityBot` - ссылки в результатах; для обучения базовых моделей не используется | `Perplexity-User` - как правило, игнорирует | | Apple | `Applebot-Extended` - управляющее имя: отказ от обучения моделей Apple | `Applebot` - Spotlight, Siri, Safari | нет | | Amazon | `Amazonbot` - метатег noarchive означает отказ от обучения | `Amzn-SearchBot` - поиск и Alexa; для обучения не используется | `Amzn-User` - может не следовать всем правилам | | Meta | `meta-externalagent` - обучение моделей и улучшение продуктов | `meta-webindexer` - качество поиска Meta AI | `meta-externalfetcher` - может обходить правила | | Mistral | `MistralAI-Training` - сбор наборов данных | `MistralAI-Index` - только индексация | `MistralAI-User` - владелец прямо не говорит | | Common Crawl | `CCBot` - открытый архив веба, им пользуются и для обучения | нет | нет | | DuckDuckGo | нет | `DuckAssistBot` - ответы с ИИ; правило действует через 72 часа | нет | | Microsoft | нет | `bingbot` - обычный поисковый бот, отдельного ИИ-бота нет | нет | | Яндекс | `YandexAdditional` - управляющее имя: показ в ответах Поиска с Яндекс ИИ | `YandexBot` - основной индексирующий робот | нет | ## Не путать - Три имени - три разные настройки - OpenAI - GPTBot - обучение - OAI-SearchBot - поиск ChatGPT - ChatGPT-User - запрос человека - Запрет GPTBot не закрывает сайт от ChatGPT. По словам OpenAI, каждая настройка независима от остальных. - Anthropic - ClaudeBot - обучение - Claude-SearchBot - поиск - Claude-User - запрос человека - Имён anthropic-ai и Claude-Web на странице Anthropic нет. Запрещать их отдельно не нужно. - Google - Google-Extended - обучение Gemini - Googlebot - Поиск и AI Overviews - Запрет Google-Extended не убирает сайт из AI Overviews. Для них управляют правила Googlebot, а также nosnippet, data-nosnippet, max-snippet и noindex. ## Яндекс У Яндекса для ответов с ИИ есть отдельное управляющее имя: ```text title="robots.txt" User-agent: YandexAdditional Disallow: / ``` Оно запрещает показывать содержание страниц в ответах Поиска с Яндекс ИИ. Индексирующих запросов этот робот не делает. Общее правило `User-agent: *` на него не действует, имя нужно указать явно. По данным Яндекса, изменение вступает в силу за 2-14 дней. ## Готовые настройки **Без обучения, с поиском** ```text title="robots.txt" User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: Applebot-Extended Disallow: / User-agent: meta-externalagent Disallow: / User-agent: MistralAI-Training Disallow: / User-agent: CCBot Disallow: / User-agent: OAI-SearchBot Allow: / User-agent: Claude-SearchBot Allow: / User-agent: PerplexityBot Allow: / Sitemap: https://example.com/sitemap.xml ``` **Только документация** ```text title="robots.txt" User-agent: GPTBot Allow: /docs/ Disallow: / ``` **Без ответов Яндекс ИИ** ```text title="robots.txt" User-agent: YandexAdditional Disallow: / ``` ## Чего в robots.txt пока нет **Подтверждено** - Amazon учитывает метатег `noarchive` как отказ от обучения. - Bing использует `NOCACHE` и `NOARCHIVE` для управления использованием в чате и обучении. - [Cloudflare документирует](https://developers.cloudflare.com/bots/additional-configurations/managed-robots-txt/) строку `Content-Signal` и по умолчанию добавляет её в управляемый `robots.txt`. **Не доказано** - `DisallowAITraining`: черновик сотрудников Microsoft истёк и не принят IETF. Ни один владелец бота не заявляет о поддержке. - Метатеги `noai` и `noimageai` появились у DeviantArt в 2022 году. Владельцы ботов их поддержку не подтверждают. **Чего это не означает** - `Content-Signal` - инициатива одной компании, а не стандарт. - Рабочая группа IETF [AIPREF](https://datatracker.ietf.org/wg/aipref/about/) готовит словарь предпочтений. На 3 октября 2026 года это черновики, RFC нет. ## Как проверить, что бот настоящий Имя бота в заголовке `User-Agent` легко подделать. Владельцы публикуют списки адресов или дают проверку через DNS. | Владелец | Где список | |---|---| | OpenAI | `openai.com/gptbot.json`, `searchbot.json`, `chatgpt-user.json` | | Anthropic | `claude.com/crawling/bots.json` | | Perplexity | `perplexity.com/perplexitybot.json`, `perplexity-user.json` | | Apple | обратная запись DNS `*.applebot.apple.com` | | Common Crawl | обратная запись DNS `*.crawl.commoncrawl.org` | | DuckDuckGo | `duckduckgo.com/duckassistbot.json` | | Яндекс | обратная запись DNS в `yandex.ru`, `yandex.net`, `yandex.com` и прямая проверка | ## Читают ли эти боты llms.txt **Подтверждено** - OpenAI, Anthropic, Perplexity и Яндекс публикуют `llms.txt` для собственной документации. - [Google пишет](https://developers.google.com/search/docs/fundamentals/ai-optimization-guide) прямо: Поиск такие файлы не использует. **Не доказано** - Что бот хотя бы одного владельца читает чужой `/llms.txt`. Ни один владелец этого не заявляет. **Чего это не означает** - Публикация своего файла - не обязательство ботов этой компании читать ваш. Подробнее - в разделе [Статус llms.txt](https://llms-full-txt.ru/guides/standard-status/). ## llms.txt и robots.txt - Два файла, две задачи - robots.txt - куда ходить нельзя - Управляет доступом - Адресован всем ботам - Свой синтаксис - Стандарт: RFC 9309 - llms.txt - где главное - Доступом не управляет - Адресован агентам и моделям - Markdown - Proposal одного автора Файлы дополняют друг друга: первый ограничивает, второй направляет. ## Чего мы не знаем - У `Bytespider` (ByteDance) официальной страницы с описанием нет. Его назначение и отношение к `robots.txt` не подтверждены. - У Cohere и xAI официальных страниц о ботах не найдено. - Полные строки `User-Agent` ботов Anthropic на странице владельца не приведены.