Common Crawl разобрал 584 тысячи файлов llms.txt
Первый разбор содержимого llms.txt по открытому обходу сети - 68% файлов создал генератор, 23% не содержат ни одной ссылки, а 40% успешных ответов оказались HTML-страницей
31 августа 2026 года Common Crawl, открытый архив обхода сети, опубликовал разбор файлов llms.txt. До него считали, у кого файл есть. Здесь впервые посмотрели, что внутри.
Что измерили
В обходе нашли 584 107 файлов и разобрали их содержимое.
| Показатель | Значение |
|---|---|
| Созданы генератором, а не вручную | 68% |
| Приходится на сайты Wix | 41% |
| Имеют полную структуру | 50% |
| Не содержат ни одной ссылки | 23% |
| Успешных ответов, оказавшихся HTML-страницей | 40% |
Три вывода
Файлы пишут не люди. Две трети создал генератор, чаще всего платформа, включившая функцию всем сайтам сразу.
Каждый четвёртый файл бесполезен. Задача файла - показать агенту, куда идти. Файл без ссылок её не выполняет.
Код 200 ничего не доказывает. Многие сайты на любой неизвестный адрес отдают страницу с кодом успеха. По адресу /llms.txt у них лежит не файл, а HTML главной или страницы ошибки. Проверка, которая смотрит только на код ответа, такой сайт пропустит.
Чего разбор не показывает
- Кто эти файлы читает. Это замер содержимого, а не обращений.
- Насколько полезны файлы с правильной структурой: формальная полнота не равна хорошему отбору ссылок.
Что делать владельцу сайта
Проверь три вещи, каждая занимает минуту:
- Адрес
/llms.txtотдаёт текст, а не HTML-страницу. - В файле есть ссылки, и они открываются.
- Если файл создал плагин или платформа, в нём нет черновиков и служебных страниц.
Команды для проверки: Проверка файлов и разметки. Типовые ошибки и как их избежать: Лучшие практики.