IETF AIPREF: словарь предпочтений для AI всё ещё черновик

В середине сентября 2026 года рабочая группа IETF AIPREF опубликовала очередную редакцию черновика словаря предпочтений. Это попытка сделать то, чего robots.txt не умеет: сказать не «сюда нельзя ходить», а «это нельзя использовать вот так».

Какую задачу решают

robots.txt управляет обходом. Он не различает, зачем бот пришёл: за страницей для поискового индекса, за текстом для обучения модели или за ответом на вопрос пользователя.

Сейчас это различие выражают именами ботов: один бот компании собирает данные для обучения, другой - для поиска. Способ работает, но требует знать каждого бота по имени.

Что в черновиках

Группа готовит два документа:

• словарь - названия видов использования, которые владелец может разрешить или запретить: обучение моделей, использование в AI-системах, поиск;
• способ привязки - как сообщить эти предпочтения: в ответе сервера и рядом с правилами robots.txt.

В каком это состоянии

Оба документа - черновики рабочей группы. RFC нет. Срок, намеченный на август 2026 года, прошёл без публикации стандарта.

Параллельно существует Content-Signal - строка, которую Cloudflare документирует и добавляет в управляемый robots.txt. Это инициатива одной компании, а не стандарт.

Чего это не значит

• Что боты уже соблюдают эти предпочтения. Обязательств от владельцев ботов нет.
• Что robots.txt устарел. Он остаётся единственным механизмом, о котором владельцы ботов прямо пишут в документации.

Что делать владельцу сайта

Сейчас - ничего нового. Рабочий инструмент прежний: правила в robots.txt для конкретных ботов по трём классам. Таблица ботов, сверенная с документацией владельцев: AI-краулеры и robots.txt.