llms.txt Generator MCP Server — Создание, проверка и аудит llms.txt (инструменты для ИИ-агентов)

llms.txt Generator превращает веб-сайт в курируемый llms.txt — файл Markdown, который указывает ИИ-системам на действительно важный контент. Этот MCP-сервер делает это доступным для агентов, таких как Claude, ChatGPT и Cursor: обход домена, создание черновика, проверка существующего файла и его проверка по новому аудиту Google Lighthouse Agentic Browsing. Бесплатно, без API-ключа, без регистрации.

• Эндпоинт: https://www.llms-txt-generator.de/api/mcp (Streamable HTTP)

• MCP-реестр: de.llms-txt-generator/llms-txt — опубликован, статус active

• npm-мост: llmstxtgenerator-mcp

• Веб-приложение: llms-txt-generator.de

• Введение в формат: Что такое llms.txt? · FAQ

• Наш собственный файл: /llms.txt · /llms-full.txt

llms.txt — это открытое предложение (llmstxt.org), а не ратифицированный веб-стандарт. Он не заменяет robots.txt или sitemap.xml, не является контролем доступа и не гарантирует ни рейтингов, ни цитирования ИИ.

Статус

Live. Эндпоинт работает и обслуживает все четыре инструмента:

curl -s https://www.llms-txt-generator.de/api/mcp \
  -H 'Content-Type: application/json' \
  -H 'Accept: application/json, text/event-stream' \
  -d '{"jsonrpc":"2.0","id":1,"method":"tools/list"}'

Тот же детерминированный краулер, генератор и валидатор, которые работают в веб-приложении — без отдельной реализации.

Почему llms.txt важен прямо сейчас

Начиная с Lighthouse 13.3 (август 2026), Google Lighthouse и PageSpeed Insights проверяют /llms.txt в категории Agentic Browsing. Аудит — это проверка структуры, а не фактор ранжирования в Google Поиске, и он намеренно минимален — три правила:

Две вещи удивляют большинство людей:

1. Обычные текстовые ссылки не считаются. Homepage: https://example.com не проходит аудит, даже если ссылка работает. Это самая распространённая причина, по которой файлы, написанные вручную, не проходят.

2. Отсутствие файла вообще проходит. Отсутствующий llms.txt сообщается как не применимо; только присутствующий, но сломанный, не проходит. Опубликовать сломанный llms.txt хуже, чем не публиковать никакой — именно поэтому существуют инструменты validate_*.

Когда использовать этот сервер

Используйте его всякий раз, когда агенту нужно создать, проверить или исправить llms.txt:

• «Сгенерируй llms.txt для example.com»

• «Проходит ли наш опубликованный llms.txt аудит Agentic Browsing от Google?»

• «Проверь этот llms.txt на битые ссылки и ссылки на внешние домены»

• «Почему PageSpeed Insights жалуется на наш llms.txt?»

Не для: управления обходом (это robots.txt), обнаружения URL (это sitemap.xml) или полных SEO-аудитов сайта.

Подключение

Claude Code (одной строкой):

claude mcp add --transport http llms-txt https://www.llms-txt-generator.de/api/mcp

Любой клиент с блоком mcpServers (Cursor, Windsurf, VS Code, …):

{
  "mcpServers": {
    "llms-txt": {
      "type": "streamable-http",
      "url": "https://www.llms-txt-generator.de/api/mcp"
    }
  }
}

Клиенты только со stdio (например, Claude Desktop) через npm-мост в этом репозитории:

{
  "mcpServers": {
    "llms-txt": {
      "command": "npx",
      "args": ["-y", "llmstxtgenerator-mcp"]
    }
  }
}

ChatGPT / OpenAI: сервер говорит на простом Streamable HTTP, поэтому он работает как коннектор и внутри Apps SDK — тот же стандарт MCP, на котором плагины OpenAI строятся с 2026 года.

Инструменты

Типичный поток: check_published_llms_txt → generate_llms_txt → validate_llms_txt → check_lighthouse_agentic_browsing.

Каждый ответ включает note с повторением правил Lighthouse, чтобы агенту, анализирующему результат, не нужно было читать этот README.

Что краулер будет и не будет делать

• Читает стартовую страницу, robots.txt, карты сайта и приоритетный выбор внутренних HTML-страниц — максимум 15 страниц, только один регистрируемый домен.

• Извлекает заголовки, описания, заголовки, канонические URL и типы JSON-LD детерминированно. Отсутствующие факты остаются отсутствующими.

• Заблокировано: частные сети, внутренние имена хостов, внешние цели редиректов, нестандартные порты, URL с учётными данными, схемы, отличные от HTTP(S), слишком большие ответы.

• Исключено из вывода: URL с параметрами, страницы noindex, дубликаты, ответы с ошибками, типы файлов, не являющиеся HTML, — каждое с указанием причины.

• Быстрый обход не выполняет JavaScript на странице. Контент, доступный только на стороне клиента, может отсутствовать.

Часто задаваемые вопросы

Что такое llms.txt? Открытое предложение для файла Markdown по адресу /llms.txt, который даёт людям и машинам курируемый обзор сайта: H1 для названия, сводка в виде цитаты и разделы H2 с абсолютными ссылками. См. llmstxt.org и наше введение.

Улучшает ли llms.txt мои позиции в Google? Нет. Google Поиск игнорирует его как сигнал ранжирования. Что изменилось в 2026 году, так это то, что Google Lighthouse теперь проверяет его структуру. Это разные вещи, и любой, кто утверждает обратное, преувеличивает.

Нужен ли мне API-ключ? Нет. Эндпоинты публичны и ограничены по частоте на IP.

Задействована ли языковая модель? Нет. Краулер и генератор полностью детерминированы. Описания берутся только из собственных метаданных исходной страницы или видимого текста.

Почему только 15 страниц? Это позволяет поддерживать бесплатный сервис быстрым и недорогим, а хороший llms.txt — это курируемый, а не исчерпывающий. Крупные сайты могут связаться с нами.

Кто этим управляет? track by track GmbH, Берлин — команда, стоящая за агентством социальных медиа famefact.

Где находится политика конфиденциальности? Datenschutzerklärung · AGB.

Немецкий: создание, проверка и исправление llms.txt с помощью ИИ-агента

llms.txt Generator создаёт из веб-сайта курируемый llms.txt — файл Markdown, который показывает ИИ-системам, какой контент действительно важен. Этот MCP-сервер делает это доступным для ИИ-агентов: обход домена, создание черновика, проверка существующего файла и проверка по новому аудиту Google Lighthouse «Agentic Browsing». Бесплатно, без API-ключа, без регистрации.

Статус: live. Эндпоинт: https://www.llms-txt-generator.de/api/mcp

claude mcp add --transport http llms-txt https://www.llms-txt-generator.de/api/mcp

Почему это актуально именно сейчас

Начиная с Lighthouse 13.3 (август 2026) Google Lighthouse и PageSpeed Insights в категории «Agentic Browsing» также проверяют /llms.txt. Аудит требует трёх вещей: заголовок H1, как минимум одну настоящую Markdown-ссылку (текст ссылки в квадратных скобках, URL в круглых скобках) и более 50 символов содержимого.

Два пункта удивляют большинство:

• Обычные текстовые ссылки не считаются. Startseite: https://beispiel.de не проходит, хотя ссылка работает. Это самая частая причина, по которой написанные вручную файлы не проходят.

• Отсутствие файла вообще проходит. Отсутствующий llms.txt считается «не применимо»; только присутствующий с ошибками не проходит. Опубликованный сломанный llms.txt хуже, чем никакой.

Аудит — это проверка структуры, а не фактор ранжирования в Google Поиске.

Инструменты

Безопасность обхода

Блокируются частные сети, внутренние имена хостов, внешние цели редиректов, нестандартные порты, URL с учётными данными и схемы, отличные от HTTP(S). Исключаются URL с параметрами, страницы noindex, дубликаты и ответы с ошибками — каждое с обоснованием. Быстрый обход не выполняет JavaScript на странице.

Полезные ссылки

• Генератор: llms-txt-generator.de

• Формат объяснён: Что такое llms.txt?

• Частые вопросы: FAQ

• Блог о GEO и llms.txt: Блог

• Большой сайт? Запросить встречу

Этот репозиторий содержит документацию, метаданные обнаружения (server.json) и npm-мост stdio. Сам сервер управляется компанией track by track GmbH, Берлин (Impressum).

Лицензия: MIT — см. LICENSE.