Перейти к содержимому
Выберите тему

llm.codes

llm.codes - сервис, который превращает страницы документации со скриптами в чистый Markdown для нейросетей - что он делает, чем отличается от генератора llms.txt, какие сайты принимает и как развернуть у себя

Автор
amantus-ai
Вид
веб-сервис с открытым кодом
Лицензия
MIT
Состояние
сайт работает, код обновлялся в июле 2026
Проверено
3 октября 2026

Часть сайтов документации собирает страницу скриптами в браузере. Программа, которая запрашивает такую страницу обычным HTTP-запросом, получает пустую заготовку.

Две стороны одной проблемы

Владелец сайта

может исправить причину

  • Отдаёт текст в HTML с сервера
  • Публикует Markdown-версии страниц
  • Публикует llms.txt

Читатель документации

работает с тем, что есть

  • Не может изменить чужой сайт
  • Берёт текст через браузерный сервис
  • llm.codes - один из таких сервисов

Если сайт твой, правильнее отдать содержание без скриптов и добавить Markdown-версии: Markdown-версии страниц.

  1. Открой сайт сервиса.
  2. Вставь адрес страницы документации.
  3. Выбери глубину обхода и предел числа страниц.
  4. Получи Markdown: скопируй или скачай.

Настройки в интерфейсе:

Настройка Значения
Глубина обхода от 0 до 5, по умолчанию 2
Предел страниц от 1 до 2000, по умолчанию 200
Только блоки кода убрать текст, оставить примеры
Фильтры убрать повторы и служебные строки

Результаты хранятся в кэше до 30 дней: повторный запрос той же страницы отвечает сразу.

Сервис принимает не любой адрес, а адреса документации. Проверка идёт по шаблонам:

  • поддомены документации: docs.*, developer.*, learn.*;
  • пути документации: /docs, /guide, /learn;
  • сайты языков и библиотек;
  • страницы GitHub Pages.

Сверх шаблонов есть короткий список исключений. Адрес вне шаблонов отклоняется.

Код открыт, и сервис можно запустить самостоятельно.

Окно терминала
git clone https://github.com/amantus-ai/llm-codes.git
cd llm-codes
pnpm install
cp .env.local.example .env.local
pnpm run dev

Нужны Node.js 24 и pnpm 10. Страницы загружает один из двух поставщиков:

Поставщик Что нужно
Firecrawl, по умолчанию платный ключ FIRECRAWL_API_KEY
Playwright ключ не нужен; браузер ставится командой pnpm exec playwright install chromium
SCRAPE_PROVIDER=playwright

Кэш в Redis необязателен.

  • Сервис не создаёт llms.txt. На выходе текст страниц, а не карта сайта.
  • Не любой сайт. Принимаются только адреса, похожие на документацию.
  • Публичного API с ключами и условиями нет. Внутренний адрес сервиса предназначен для его собственного интерфейса.
  • Чужое содержание остаётся чужим. Права на текст документации принадлежат её владельцу.