AI-краулеры: кого пускать, кого блокировать
Полное руководство по AI-краулерам в 2026 году - GPTBot, ClaudeBot, Google-Extended. Как настроить robots.txt для AI-ботов.
Обновление от 3 октября 2026 года. Запись оставлена как была опубликована 15 февраля, и таблица в ней неточна.
GPTBotиClaudeBotотвечают только за обучение; поиск и запросы пользователей обслуживают другие боты. Ни один владелец бота не заявляет, что читает чужой llms.txt, поэтому на рост видимости в ответах ИИ от файла рассчитывать не стоит. Таблица, сверенная с документацией владельцев: AI-краулеры и robots.txt.
AI-краулеры в 2026 году
Ландшафт AI-краулеров значительно изменился. Сегодня более 15 различных ботов регулярно сканируют веб-сайты для обучения моделей и ответов.
Основные AI-краулеры
| Бот | Компания | Назначение |
|---|---|---|
| GPTBot | OpenAI | Обучение и ответы |
| ClaudeBot | Anthropic | Обучение и ответы |
| Google-Extended | Обучение Gemini | |
| PerplexityBot | Perplexity | Поисковый индекс |
Рекомендации
Для документационных сайтов рекомендуется разрешать всех AI-краулеров — это увеличивает видимость вашего контента в AI-ответах. Файл llms.txt дополнительно помогает ботам найти структурированную информацию.