# AI-краулеры: кого пускать, кого блокировать

> Полное руководство по AI-краулерам в 2026 году - GPTBot, ClaudeBot, Google-Extended. Как настроить robots.txt для AI-ботов.

Страница: https://llms-full-txt.ru/blog/ai-crawlers-guide/
Указатель сайта: https://llms-full-txt.ru/llms.txt

Опубликовано: 2026-02-15

> **Обновление от 3 октября 2026 года.** Запись оставлена как была опубликована 15 февраля, и таблица в ней неточна. `GPTBot` и `ClaudeBot` отвечают только за обучение; поиск и запросы пользователей обслуживают другие боты. Ни один владелец бота не заявляет, что читает чужой llms.txt, поэтому на рост видимости в ответах ИИ от файла рассчитывать не стоит. Таблица, сверенная с документацией владельцев: [AI-краулеры и robots.txt](https://llms-full-txt.ru/guides/ai-crawlers/).

## AI-краулеры в 2026 году

Ландшафт AI-краулеров значительно изменился. Сегодня более 15 различных ботов регулярно сканируют веб-сайты для обучения моделей и ответов.

## Основные AI-краулеры

| Бот | Компания | Назначение |
|-----|---------|-----------|
| GPTBot | OpenAI | Обучение и ответы |
| ClaudeBot | Anthropic | Обучение и ответы |
| Google-Extended | Google | Обучение Gemini |
| PerplexityBot | Perplexity | Поисковый индекс |

## Рекомендации

Для документационных сайтов рекомендуется разрешать всех AI-краулеров — это увеличивает видимость вашего контента в AI-ответах. Файл llms.txt дополнительно помогает ботам найти структурированную информацию.