AI-краулеры и robots.txt

Боты OpenAI, Anthropic, Google, Perplexity, Apple, Amazon, Meta, Mistral и Яндекса по документации владельцев - три класса (обучение, поиск, запрос пользователя), что слушается robots.txt и шаблон настройки

Проверено: 3 октября 2026
Источник: страницы владельцев ботов
Владельцев в таблице: 12

Списки меняются. Перед настройкой сверьтесь со страницей владельца: ссылки собраны в конце.

Три класса ботов

Кто приходит на сайт и что его останавливает

Обучениесам, по расписанию

Бот для обученияGPTBot, ClaudeBot
robots.txtслушается
Набор данныхможет пойти в обучение моделей

Поисксам, по расписанию

Поисковый ботOAI-SearchBot, PerplexityBot
robots.txtслушается
Индексстраница в ответе со ссылкой

Запрос пользователяпо просьбе человека

Человекдаёт ссылку или задаёт вопрос
АссистентChatGPT-User, Claude-User
robots.txtчасто не действует

Третий класс открывает страницу не сам, а потому что об этом попросил человек. Поэтому владельцы прямо пишут, что правила robots.txt на такие запросы могут не действовать.

Все боты по владельцам

Боты ИИ-компаний по владельцам и классам
Владелец	Обучениесобирает страницы для обучения моделей	Поискиндексирует страницы, чтобы ссылаться на них в ответах	Запрос пользователяоткрывает страницу, потому что попросил человек
OpenAI	Обучение`GPTBot`слушается robots.txtсодержание может пойти в обучение моделей	Поиск`OAI-SearchBot`слушается robots.txtпоказ в поиске ChatGPT; правило действует примерно через сутки	Запрос пользователя`ChatGPT-User`может не слушаться robots.txtправила могут не применяться
Anthropic	Обучение`ClaudeBot`слушается robots.txtможет пойти в обучение; понимает Crawl-delay	Поиск`Claude-SearchBot`слушается robots.txtкачество поисковых результатов	Запрос пользователя`Claude-User`слушается robots.txtзапрет не даёт получить страницу
Google	Обучение`Google-Extended`имя для robots.txtуправляющее имя, отдельного бота нет: обучение Gemini	Поиск`Googlebot`слушается robots.txtон же управляет AI Overviews и AI Mode	Запрос пользователя`Google-Agent`может не слушаться robots.txtкак правило, игнорирует; то же у Google-NotebookLM
Perplexity	Обучениебота этого класса нет	Поиск`PerplexityBot`слушается robots.txtссылки в результатах; для обучения базовых моделей не используется	Запрос пользователя`Perplexity-User`может не слушаться robots.txtкак правило, игнорирует
Apple	Обучение`Applebot-Extended`имя для robots.txtуправляющее имя: отказ от обучения моделей Apple	Поиск`Applebot`слушается robots.txtSpotlight, Siri, Safari	Запрос пользователябота этого класса нет
Amazon	Обучение`Amazonbot`слушается robots.txtметатег noarchive означает отказ от обучения	Поиск`Amzn-SearchBot`слушается robots.txtпоиск и Alexa; для обучения не используется	Запрос пользователя`Amzn-User`может не слушаться robots.txtможет не следовать всем правилам
Meta	Обучение`meta-externalagent`слушается robots.txtобучение моделей и улучшение продуктов	Поиск`meta-webindexer`слушается robots.txtкачество поиска Meta AI	Запрос пользователя`meta-externalfetcher`может не слушаться robots.txtможет обходить правила
Mistral	Обучение`MistralAI-Training`слушается robots.txtсбор наборов данных	Поиск`MistralAI-Index`слушается robots.txtтолько индексация	Запрос пользователя`MistralAI-User`не сказановладелец прямо не говорит
Common Crawl	Обучение`CCBot`слушается robots.txtоткрытый архив веба, им пользуются и для обучения	Поискбота этого класса нет	Запрос пользователябота этого класса нет
DuckDuckGo	Обучениебота этого класса нет	Поиск`DuckAssistBot`слушается robots.txtответы с ИИ; правило действует через 72 часа	Запрос пользователябота этого класса нет
Microsoft	Обучениебота этого класса нет	Поиск`bingbot`слушается robots.txtобычный поисковый бот, отдельного ИИ-бота нет	Запрос пользователябота этого класса нет
Яндекс	Обучение`YandexAdditional`имя для robots.txtуправляющее имя: показ в ответах Поиска с Яндекс ИИ	Поиск`YandexBot`слушается robots.txtосновной индексирующий робот	Запрос пользователябота этого класса нет

Не путать

Три имени - три разные настройки

OpenAI

GPTBotобучение
OAI-SearchBotпоиск ChatGPT
ChatGPT-Userзапрос человека

Запрет GPTBot не закрывает сайт от ChatGPT. По словам OpenAI, каждая настройка независима от остальных.

Anthropic

ClaudeBotобучение
Claude-SearchBotпоиск
Claude-Userзапрос человека

Имён anthropic-ai и Claude-Web на странице Anthropic нет. Запрещать их отдельно не нужно.

Google

Google-Extendedобучение Gemini
GooglebotПоиск и AI Overviews

Запрет Google-Extended не убирает сайт из AI Overviews. Для них управляют правила Googlebot, а также nosnippet, data-nosnippet, max-snippet и noindex.

Яндекс

У Яндекса для ответов с ИИ есть отдельное управляющее имя:

User-agent: YandexAdditional
Disallow: /

Оно запрещает показывать содержание страниц в ответах Поиска с Яндекс ИИ. Индексирующих запросов этот робот не делает. Общее правило User-agent: * на него не действует, имя нужно указать явно. По данным Яндекса, изменение вступает в силу за 2-14 дней.

Готовые настройки

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: meta-externalagent
Disallow: /

User-agent: MistralAI-Training
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Sitemap: https://example.com/sitemap.xml

User-agent: GPTBot
Allow: /docs/
Disallow: /

User-agent: YandexAdditional
Disallow: /

Чего в robots.txt пока нет

Сигналы для ИИ: что работает на самом деле

Подтверждено

Amazon учитывает метатег noarchive как отказ от обучения.
Bing использует NOCACHE и NOARCHIVE для управления использованием в чате и обучении.
Cloudflare документирует строку Content-Signal и по умолчанию добавляет её в управляемый robots.txt.

Не доказано

DisallowAITraining: черновик сотрудников Microsoft истёк и не принят IETF. Ни один владелец бота не заявляет о поддержке.
Метатеги noai и noimageai появились у DeviantArt в 2022 году. Владельцы ботов их поддержку не подтверждают.

Чего это не означает

Content-Signal - инициатива одной компании, а не стандарт.
Рабочая группа IETF AIPREF готовит словарь предпочтений. На 3 октября 2026 года это черновики, RFC нет.

Как проверить, что бот настоящий

Имя бота в заголовке User-Agent легко подделать. Владельцы публикуют списки адресов или дают проверку через DNS.

Владелец	Где список
OpenAI	`openai.com/gptbot.json`, `searchbot.json`, `chatgpt-user.json`
Anthropic	`claude.com/crawling/bots.json`
Perplexity	`perplexity.com/perplexitybot.json`, `perplexity-user.json`
Apple	обратная запись DNS `*.applebot.apple.com`
Common Crawl	обратная запись DNS `*.crawl.commoncrawl.org`
DuckDuckGo	`duckduckgo.com/duckassistbot.json`
Яндекс	обратная запись DNS в `yandex.ru`, `yandex.net`, `yandex.com` и прямая проверка

Читают ли эти боты llms.txt

Что известно, а что нет

Подтверждено

OpenAI, Anthropic, Perplexity и Яндекс публикуют llms.txt для собственной документации.
Google пишет прямо: Поиск такие файлы не использует.

Не доказано

Что бот хотя бы одного владельца читает чужой /llms.txt. Ни один владелец этого не заявляет.

Чего это не означает

Публикация своего файла - не обязательство ботов этой компании читать ваш.

Подробнее - в разделе Статус llms.txt.

llms.txt и robots.txt

Два файла, две задачи

robots.txt

куда ходить нельзя

Управляет доступом
Адресован всем ботам
Свой синтаксис
Стандарт: RFC 9309

llms.txt

где главное

Доступом не управляет
Адресован агентам и моделям
Markdown
Proposal одного автора

Файлы дополняют друг друга: первый ограничивает, второй направляет.

Чего мы не знаем

У Bytespider (ByteDance) официальной страницы с описанием нет. Его назначение и отношение к robots.txt не подтверждены.
У Cohere и xAI официальных страниц о ботах не найдено.
Полные строки User-Agent ботов Anthropic на странице владельца не приведены.