Блог о llms.txt и AI-поиске
Хроника экосистемы: что произошло, что измерили и что это значит для владельца сайта. Записи идут по дате события. Вечнозелёные материалы живут в руководствах: каждая запись ведёт на страницу, которую мы обновляем.
Хроника
llms.txt осенью 2026 года: что известно
Сводка за год - вторая редакция proposal, проверка в Lighthouse, позиция Google, исследования обращений и качества файлов. Что подтверждено, что не доказано и что делать с сайтом
Lighthouse 13.5: llms.txt стал одной из точек обнаружения
В Lighthouse 13.5.0 проверка llms.txt объединена с другими способами, которыми агент находит сайт - что изменилось в отчёте и что осталось прежним
Mintlify: агенты запрашивают документацию вдвое чаще людей
Отчёт платформы документации за август 2026 года - 257 миллионов запросов агентов против 131 миллиона просмотров людьми. Что это говорит о документации и чего не говорит об остальных сайтах
IETF AIPREF: словарь предпочтений для AI всё ещё черновик
Рабочая группа IETF AIPREF обновила черновик словаря, которым сайт сообщает, можно ли использовать содержимое для обучения и ответов - что в нём есть и почему полагаться на него рано
Common Crawl разобрал 584 тысячи файлов llms.txt
Первый разбор содержимого llms.txt по открытому обходу сети - 68% файлов создал генератор, 23% не содержат ни одной ссылки, а 40% успешных ответов оказались HTML-страницей
Вышла вторая редакция llms.txt
10 августа 2026 года опубликована вторая редакция proposal llms.txt - связи обнаружения, файлы в подпутях, две формы Markdown-адресов и новая роль секции Optional
Опыт Mintlify: с llms.txt агент реже попадает на несуществующие страницы
Mintlify сравнила четыре формата документации на 20 сайтах и 2400 запусках - что изменилось, что осталось прежним и почему источник надо считать заинтересованным
Chrome описал, как готовить сайт к агентам
В блоге Chrome вышел набор инструментов agent-ready - категория Agentic Browsing в Lighthouse, WebMCP и DevTools для агентов. О llms.txt в записи ни слова
Ahrefs: 97% файлов llms.txt никто не запросил
Исследование Ahrefs по 137 тысячам доменов - сколько сайтов публикуют llms.txt, кто его запрашивает и почему эти числа надо читать с оговорками
Google записал в документации: Поиск не использует llms.txt
Что именно сказано в руководстве Google по AI-функциям Поиска, к чему это относится, а к чему нет, и как это сочетается с проверкой в Lighthouse
Lighthouse начал проверять llms.txt
В Lighthouse 13.3.0 проверка llms.txt включена по умолчанию - что именно она смотрит, почему пустой файл её проходит и чего она не доказывает
llms.txt в 2026: от эксперимента к стандарту
Как llms.txt прошёл путь от идеи Jeremy Howard до распространения на 10% из 300K доменов. Что изменилось и что ждёт впереди.
AI-краулеры: кого пускать, кого блокировать
Полное руководство по AI-краулерам в 2026 году - GPTBot, ClaudeBot, Google-Extended. Как настроить robots.txt для AI-ботов.
Cloudflare отдаёт агентам Markdown вместо HTML
Cloudflare включил преобразование страниц в Markdown по заголовку Accept - как это работает, сколько экономит и что остаётся на стороне владельца сайта
Web Almanac: llms.txt есть у двух сайтов из ста
Глава SEO отчёта Web Almanac 2025 впервые посчитала llms.txt по обходу HTTP Archive - 2,1% сайтов, и большинство файлов создано плагинами WordPress