# Common Crawl разобрал 584 тысячи файлов llms.txt

> Первый разбор содержимого llms.txt по открытому обходу сети - 68% файлов создал генератор, 23% не содержат ни одной ссылки, а 40% успешных ответов оказались HTML-страницей

Страница: https://llms-full-txt.ru/blog/common-crawl-584k-llms-txt/
Указатель сайта: https://llms-full-txt.ru/llms.txt

Дата события: 2026-08-31

Опубликовано: 2026-10-03

31 августа 2026 года [Common Crawl](https://commoncrawl.org/blog), открытый архив обхода сети, опубликовал разбор файлов `llms.txt`. До него считали, у кого файл есть. Здесь впервые посмотрели, что внутри.

## Что измерили

В обходе нашли 584 107 файлов и разобрали их содержимое.

| Показатель | Значение |
|---|---|
| Созданы генератором, а не вручную | 68% |
| Приходится на сайты Wix | 41% |
| Имеют полную структуру | 50% |
| Не содержат ни одной ссылки | 23% |
| Успешных ответов, оказавшихся HTML-страницей | 40% |

## Три вывода

**Файлы пишут не люди.** Две трети создал генератор, чаще всего платформа, включившая функцию всем сайтам сразу.

**Каждый четвёртый файл бесполезен.** Задача файла - показать агенту, куда идти. Файл без ссылок её не выполняет.

**Код `200` ничего не доказывает.** Многие сайты на любой неизвестный адрес отдают страницу с кодом успеха. По адресу `/llms.txt` у них лежит не файл, а HTML главной или страницы ошибки. Проверка, которая смотрит только на код ответа, такой сайт пропустит.

## Чего разбор не показывает

- Кто эти файлы читает. Это замер содержимого, а не обращений.
- Насколько полезны файлы с правильной структурой: формальная полнота не равна хорошему отбору ссылок.

## Что делать владельцу сайта

Проверь три вещи, каждая занимает минуту:

1. Адрес `/llms.txt` отдаёт текст, а не HTML-страницу.
2. В файле есть ссылки, и они открываются.
3. Если файл создал плагин или платформа, в нём нет черновиков и служебных страниц.

Команды для проверки: [Проверка файлов и разметки](https://llms-full-txt.ru/guides/validation/). Типовые ошибки и как их избежать: [Лучшие практики](https://llms-full-txt.ru/guides/best-practices/).