Сайт, готовый к AI

1. 1robots.txtМожно ли сюда идтиправила доступа для роботов
2. 2sitemap.xmlКакие адреса существуютперечень страниц сайта
3. 3llms.txtКакие материалы особенно полезны и где оникарта для AI-агента
4. 4JSON-LDЧто находится на этой страницесущность, её свойства и связи
5. 5HTML / MarkdownЧто здесь написаносамо содержание

Это учебная модель ролей. Она не утверждает, что каждая система использует каждый слой одинаково.

Слои не заменяют друг друга. robots.txt ничего не говорит о том, что на сайте полезно. llms.txt ничего не запрещает. Структурированные данные не заменяют текст страницы. А самый подробный llms.txt не поможет сайту, который отвечает ошибкой.

Раньше любого файла идёт простая вещь: сервер должен ответить.

• Страница отдаёт код 200, а не цепочку перенаправлений и не ошибку.
• Основной текст есть в HTML, который приходит с сервера. Если содержание появляется только после выполнения скриптов в браузере, часть автоматических клиентов его не увидит.
• Ответ приходит быстро и стабильно. Быстрый и надёжный ответ уменьшает трение для любого клиента - человека, поискового робота, агента.
• Чтобы увидеть текст, не нужно нажимать кнопки, закрывать окна или прокручивать страницу.
• У страницы один постоянный адрес, а ссылки на сайте - обычные ссылки, по которым можно перейти.

Структурированные данные и llms.txt не исправляют медленный или недоступный сайт. Они описывают то, что уже можно получить.

robots.txt - это правила доступа. Владелец сайта говорит роботам, куда им можно ходить, а куда нет.

У AI-компаний роботы трёх разных классов: одни собирают данные для обучения, другие строят поисковый индекс, третьи приходят по запросу конкретного пользователя. Закрыть обучение и остаться в AI-поиске - это разные строки в файле.

Что проверить: файл отдаётся с кодом 200, нужные роботы не закрыты случайно, решение по каждому классу принято осознанно.

Подробно: AI-краулеры и robots.txt.

sitemap.xml перечисляет страницы сайта и помогает их обнаружить. Это полный список, без оценок: карта не говорит, что важно, а что нет.

sitemap.xml и llms.txt не конкуренты. Первый отвечает на вопрос «что есть», второй - «с чего начать».

Что проверить: карта существует, указана в robots.txt, содержит только рабочие адреса и не содержит закрытых от индексации страниц.

llms.txt - карта полезных материалов для AI-агента: название сайта, короткое описание и списки ссылок с пояснениями.

Важные оговорки:

• это предложенный стандарт (proposal), а не принятый;
• поисковые системы не используют его для ранжирования;
• действует вторая редакция: появились связи для обнаружения файла и файлы для отдельных разделов сайта;
• llms-full.txt в proposal не входит - это сложившаяся практика.

Что проверить: файл лежит в корне, отдаётся как текст с кодом 200, ссылки в нём живые.

Подробно: Что такое llms.txt, формат файла, что такое llms-full.txt.

llms.txt помогает понять, куда идти. Структурированные данные явно описывают, куда машина пришла: это товар, статья или обсуждение, как оно называется, кто автор, сколько стоит, есть ли в наличии.

Словарь для такого описания - Schema.org. Самый удобный способ записи - JSON-LD: блок данных в коде страницы, отдельный от видимого текста.

1. llms.txt/products/widget/здесь есть полезная страница о товаре
2. JSON-LDэто Product: название, артикул, цена, наличие
3. HTML / Markdownописание, характеристики, инструкции

Для поисковых систем это рабочий слой, а не украшение. Google пишет, что использует структурированные данные, чтобы понимать содержание страницы. Яндекс читает разметку товаров и для товарных страниц с типом Product и предложением Offer даёт данным со страницы максимальный приоритет перед другими источниками.

Если тип страницы можно описать словарём Schema.org, а разметки нет, машинное представление страницы не доделано.

Подробно: Структурированные данные и JSON-LD.

Всё остальное ведёт сюда. Машине нужен текст: ясные заголовки, понятная структура, конкретные факты, даты и авторы.

HTML уже есть у любого сайта. Некоторые сайты отдают ещё и Markdown-версию страницы по тому же адресу: без меню, рекламы и оформления. Агенту с ней проще, потому что в тексте меньше лишнего.

Что проверить: у страницы один заголовок первого уровня, разделы названы по смыслу, ключевые сведения написаны текстом, а не картинкой.

Подробно: Markdown-версии страниц, лучшие практики.

Два вопроса идут сквозь все слои.

Можно ли этому верить. Указаны источники, автор, дата обновления. Цена в разметке совпадает с ценой на странице. Написанное можно проверить.

Работает ли это. Измерить можно четыре вещи: обращения ботов в журналах сервера, переходы из AI-систем в аналитике, цитирования и долю упоминаний на постоянном наборе запросов. Место в ответе нейросети измерить заранее и гарантировать нельзя.

Подробно: Как измерить видимость в AI, работает ли llms.txt.

Что известно, а что нет

Подтверждено

• Поисковые системы читают robots.txt, sitemap.xml и структурированные данные: это описано в их документации.
• Google и Яндекс используют разметку товаров при показе цены и наличия.
• AI-боты посещают сайты: владельцы ботов публикуют их имена и назначение.
• Крупные сайты документации публикуют llms.txt и Markdown-версии страниц.

Не доказано

• Что llms.txt влияет на позиции в поиске или число цитирований.
• Что конкретная AI-система читает JSON-LD чужого сайта напрямую: это зависит от её устройства, и говорить об этом можно только по её документации.

Чего это не означает

• Разметка не обязательна для индексации: страницу найдут и без неё.
• Польза структурированных данных для AI не сводится к прямому чтению. AI-поиск и агенты часто получают сведения через поисковые системы, а те разметку читают.

Каждый слой решает свою задачу. Ни один не обещает место в ответе нейросети.

Как проверять каждый пункт: Проверка файлов и разметки.

Часть слоёв собирается из данных, которые уже есть в системе управления сайтом: список страниц, товары, статьи, авторы. Такую работу разумно отдать расширению, которое пересобирает файлы и разметку при каждом изменении.

Не автоматизируется другое: ясность текста, достоверность фактов и решение, каких роботов пускать.

Как это устроено в одной системе: llms.txt и JSON-LD в Webasyst. Все расширения собраны на странице разработчика в магазине Webasyst. Для WordPress: llms.txt в WordPress.