# Сайт, готовый к AI: llms.txt, разметка и доступ для нейросетей

> Что нужно сделать с сайтом, чтобы его находили и понимали поисковые системы, нейросети и AI-агенты - шесть слоёв от ответа сервера до измерения результата

Страница: https://llms-full-txt.ru/guides/ai-ready-site/
Указатель сайта: https://llms-full-txt.ru/llms.txt

Подготовить сайт к AI - значит сделать так, чтобы машина могла получить страницу, узнать, можно ли её читать, найти нужный адрес, понять, что на странице находится, и прочитать само содержание.

Одного файла для этого мало. `llms.txt` - один слой из пяти. Остальные четыре у большинства сайтов уже есть, но в разной степени готовности.

## Пять слоёв и у каждого свой вопрос

- Что машина узнаёт на каждом слое
- правила доступа для роботов
- перечень страниц сайта
- карта для AI-агента
- сущность, её свойства и связи
- само содержание

Слои не заменяют друг друга. `robots.txt` ничего не говорит о том, что на сайте полезно. `llms.txt` ничего не запрещает. Структурированные данные не заменяют текст страницы. А самый подробный `llms.txt` не поможет сайту, который отвечает ошибкой.

## Слой ноль: страницу нужно сначала получить

Раньше любого файла идёт простая вещь: сервер должен ответить.

- Страница отдаёт код `200`, а не цепочку перенаправлений и не ошибку.
- Основной текст есть в HTML, который приходит с сервера. Если содержание появляется только после выполнения скриптов в браузере, часть автоматических клиентов его не увидит.
- Ответ приходит быстро и стабильно. Быстрый и надёжный ответ уменьшает трение для любого клиента - человека, поискового робота, агента.
- Чтобы увидеть текст, не нужно нажимать кнопки, закрывать окна или прокручивать страницу.
- У страницы один постоянный адрес, а ссылки на сайте - обычные ссылки, по которым можно перейти.

Структурированные данные и `llms.txt` не исправляют медленный или недоступный сайт. Они описывают то, что уже можно получить.

## 1. robots.txt: можно ли идти

`robots.txt` - это правила доступа. Владелец сайта говорит роботам, куда им можно ходить, а куда нет.

У AI-компаний роботы трёх разных классов: одни собирают данные для обучения, другие строят поисковый индекс, третьи приходят по запросу конкретного пользователя. Закрыть обучение и остаться в AI-поиске - это разные строки в файле.

Что проверить: файл отдаётся с кодом `200`, нужные роботы не закрыты случайно, решение по каждому классу принято осознанно.

Подробно: [AI-краулеры и robots.txt](https://llms-full-txt.ru/guides/ai-crawlers/).

## 2. sitemap.xml: какие адреса существуют

`sitemap.xml` перечисляет страницы сайта и помогает их обнаружить. Это полный список, без оценок: карта не говорит, что важно, а что нет.

`sitemap.xml` и `llms.txt` не конкуренты. Первый отвечает на вопрос «что есть», второй - «с чего начать».

Что проверить: карта существует, указана в `robots.txt`, содержит только рабочие адреса и не содержит закрытых от индексации страниц.

## 3. llms.txt: куда полезно идти

`llms.txt` - карта полезных материалов для AI-агента: название сайта, короткое описание и списки ссылок с пояснениями.

Важные оговорки:

- это предложенный стандарт (proposal), а не принятый;
- поисковые системы не используют его для ранжирования;
- действует [вторая редакция](https://llmstxt.org/): появились связи для обнаружения файла и файлы для отдельных разделов сайта;
- `llms-full.txt` в proposal не входит - это сложившаяся практика.

Что проверить: файл лежит в корне, отдаётся как текст с кодом `200`, ссылки в нём живые.

Подробно: [Что такое llms.txt](https://llms-full-txt.ru/guides/what-is-llms-txt/), [формат файла](https://llms-full-txt.ru/specification/format/), [что такое llms-full.txt](https://llms-full-txt.ru/guides/llms-full-txt/).

## 4. Структурированные данные: что находится на странице

`llms.txt` помогает понять, куда идти. Структурированные данные явно описывают, куда машина пришла: это товар, статья или обсуждение, как оно называется, кто автор, сколько стоит, есть ли в наличии.

Словарь для такого описания - [Schema.org](https://schema.org/). Самый удобный способ записи - JSON-LD: блок данных в коде страницы, отдельный от видимого текста.

- Маршрут, смысл и содержание
- llms.txt
- здесь есть полезная страница о товаре
- /products/widget/
- JSON-LD
- это Product: название, артикул, цена, наличие
- HTML / Markdown
- описание, характеристики, инструкции

Для поисковых систем это рабочий слой, а не украшение. [Google пишет](https://developers.google.com/search/docs/fundamentals/ai-optimization-guide), что использует структурированные данные, чтобы понимать содержание страницы. Яндекс читает разметку товаров и для товарных страниц с типом `Product` и предложением `Offer` даёт данным со страницы максимальный приоритет перед другими источниками.

Если тип страницы можно описать словарём Schema.org, а разметки нет, машинное представление страницы не доделано.

Подробно: [Структурированные данные и JSON-LD](https://llms-full-txt.ru/guides/json-ld/).

## 5. HTML и Markdown: само содержание

Всё остальное ведёт сюда. Машине нужен текст: ясные заголовки, понятная структура, конкретные факты, даты и авторы.

HTML уже есть у любого сайта. Некоторые сайты отдают ещё и Markdown-версию страницы по тому же адресу: без меню, рекламы и оформления. Агенту с ней проще, потому что в тексте меньше лишнего.

Что проверить: у страницы один заголовок первого уровня, разделы названы по смыслу, ключевые сведения написаны текстом, а не картинкой.

Подробно: [Markdown-версии страниц](https://llms-full-txt.ru/guides/markdown-pages/), [лучшие практики](https://llms-full-txt.ru/guides/best-practices/).

## Доверие и измерение

Два вопроса идут сквозь все слои.

**Можно ли этому верить.** Указаны источники, автор, дата обновления. Цена в разметке совпадает с ценой на странице. Написанное можно проверить.

**Работает ли это.** Измерить можно четыре вещи: обращения ботов в журналах сервера, переходы из AI-систем в аналитике, цитирования и долю упоминаний на постоянном наборе запросов. Место в ответе нейросети измерить заранее и гарантировать нельзя.

Подробно: [Как измерить видимость в AI](https://llms-full-txt.ru/guides/ai-visibility/), [работает ли llms.txt](https://llms-full-txt.ru/guides/does-llms-txt-work/).

## Что известно, а что нет

**Подтверждено**

- Поисковые системы читают `robots.txt`, `sitemap.xml` и структурированные данные: это описано в их документации.
- Google и Яндекс используют разметку товаров при показе цены и наличия.
- AI-боты посещают сайты: владельцы ботов публикуют их имена и назначение.
- Крупные сайты документации публикуют `llms.txt` и Markdown-версии страниц.

**Не доказано**

- Что `llms.txt` влияет на позиции в поиске или число цитирований.
- Что конкретная AI-система читает JSON-LD чужого сайта напрямую: это зависит от её устройства, и говорить об этом можно только по её документации.

**Чего это не означает**

- Разметка не обязательна для индексации: страницу найдут и без неё.
- Польза структурированных данных для AI не сводится к прямому чтению. AI-поиск и агенты часто получают сведения через поисковые системы, а те разметку читают.

## Проверка по шагам

1. Страницы отдают код `200`, основной текст есть в HTML с сервера.
2. `robots.txt` существует, решение по AI-ботам принято осознанно.
3. `sitemap.xml` существует и указан в `robots.txt`.
4. На страницах есть структурированные данные подходящего типа, валидаторы Google и Яндекса не показывают ошибок.
5. У страниц понятные заголовки и структура.
6. `llms.txt` лежит в корне сайта, ссылки в нём рабочие.
7. Цена, наличие и даты в разметке совпадают с тем, что видит человек.
8. В журналах сервера видно, какие боты приходят.

Как проверять каждый пункт: [Проверка файлов и разметки](https://llms-full-txt.ru/guides/validation/).

## Что можно автоматизировать

Часть слоёв собирается из данных, которые уже есть в системе управления сайтом: список страниц, товары, статьи, авторы. Такую работу разумно отдать расширению, которое пересобирает файлы и разметку при каждом изменении.

Не автоматизируется другое: ясность текста, достоверность фактов и решение, каких роботов пускать.

Как это устроено в одной системе: [llms.txt и JSON-LD в Webasyst](https://llms-full-txt.ru/guides/webasyst/). Все расширения собраны на странице разработчика в магазине Webasyst. Для WordPress: [llms.txt в WordPress](https://llms-full-txt.ru/guides/wordpress/).