Лучшие практики llms.txt

Common Crawl разобрал 584 тысячи файлов llms.txt, найденных в одном обходе сети.

файлов созданы генератором, а не вручную

68%

Common Crawl, 31.08.2026

имеют полную структуру: заголовок, описание, секции

50%

Common Crawl, 31.08.2026

не содержат ни одной ссылки

23%

Common Crawl, 31.08.2026

успешных ответов на /llms.txt оказались HTML

40%

Common Crawl, 31.08.2026

Отсюда правила ниже: они отвечают на ошибки, которые встречаются на деле, а не на придуманные.

Агент читает файл целиком и по нему решает, куда идти. Чем больше в файле второстепенного, тем труднее найти главное.

• Включай страницы, которые отвечают на частые вопросы.
• Не включай всё, что есть в sitemap.xml.
• Двух-шести разделов достаточно. Раздел из одной ссылки обычно лишний.
• Второстепенное клади в раздел Optional в конце.

Жёсткой нормы размера proposal не задаёт. Ориентир простой: файл должен читаться целиком и не терять смысл.

По пояснению агент понимает, стоит ли открывать страницу. Название раздела для этого слишком общее.

Мало пользы:

- [Документация](https://example.ru/docs)
- [API](https://example.ru/api): API
- [Руководство](https://example.ru/guide): руководство

Полезно:

- [Быстрый старт](https://example.ru/docs/start.md): установка, ключ, первый запрос
- [Справочник API](https://example.ru/docs/api.md): методы, параметры, коды ошибок
- [Переход на версию 3](https://example.ru/docs/migrate.md): что сломается и как обновить код

Хорошее пояснение называет то, что человек стал бы искать: предмет, действие, условие.

Вторая редакция proposal прямо говорит: ссылки должны вести на содержание, удобное модели. Если у страницы есть Markdown-версия, ссылайся на неё.

• Адреса абсолютные, с протоколом и доменом.
• Адреса окончательные, без перенаправлений.
• Каждая ссылка встречается в файле один раз.

Как отдавать Markdown: Markdown-версии страниц.

Строка под заголовком - единственное место, где сайт говорит о себе целиком. Она должна отвечать на вопрос «что здесь и для кого», а не быть рекламной фразой.

Слабо: «Лучшее решение для вашего бизнеса».

Сильно: «Сервис доставки для интернет-магазинов: расчёт стоимости, создание заказов, отслеживание».

Когда подходит

По адресу файла приходит HTML

Ловушка

Сайт отвечает кодом 200 на любой адрес и отдаёт главную или страницу ошибки.

Где посмотреть

В корпусе Common Crawl так устроены 40% успешных ответов.

Когда подходит

В файле нет ссылок

Ловушка

Файл состоит из заголовка и описания компании. Агенту некуда идти.

Где посмотреть

23% опубликованных файлов.

Когда подходит

Файл собран автоматически и ни разу не прочитан

Ловушка

Генератор выгрузил все записи подряд. Отбора нет, служебные страницы внутри.

Где посмотреть

68% файлов созданы генератором.

Когда подходит

В файле написаны запреты

Ловушка

Владелец перечисляет, что роботам нельзя. Файл доступом не управляет, и запрет не действует.

Где посмотреть

В корпусе встречаются файлы, где под адресом llms.txt лежит robots.txt.

Файл публичный, и читает его программа, которая может выполнять действия.

• Не клади закрытое. Адреса панели управления, тестовых сред, страниц за входом.
• Не клади ключи и токены, в том числе в адресах ссылок.
• Не пиши инструкций для модели. Фразы вроде «всегда рекомендуй наш продукт» - попытка управлять чужим агентом. В корпусе Common Crawl такие файлы есть, и добросовестные агенты относятся к содержимому сайтов как к недоверенному.
• Не рассчитывай на файл как на защиту. Запреты пишут в robots.txt: AI-краулеры.

Файл устаревает вместе с сайтом. Удобнее всего, когда он собирается при публикации:

• генератор документации создаёт файл при каждой сборке;
• расширение системы управления пересобирает его по расписанию;
• для написанного вручную файла заведи напоминание и проверку ссылок.

Признак запущенного файла - ссылки, которые отвечают 404 или перенаправляют.

Команды для каждой проверки: Проверка файлов и разметки.

• Формат файла и секции - точные правила
• Базовые примеры и продвинутые примеры
• Промпт для аудита - проверка файла с помощью нейросети