intercept-mcp

Дайте вашему ИИ возможность читать веб-страницы. Одна команда, ключи API не требуются.

Без этого инструмента ваш ИИ при переходе по URL получает ошибку 403, «стену» или гору необработанного HTML. С intercept он почти всегда получает контент — чистый Markdown, готовый к использованию.

Обрабатывает твиты, видео YouTube (с транскриптами, если доступны), статьи arXiv, PDF-файлы, статьи Wikipedia и репозитории GitHub. Если первая стратегия не срабатывает, он пробует еще до 14 вариантов, прежде чем сдаться.

Работает с любым MCP-клиентом: Claude Code, Claude Desktop, Codex, Cursor, Windsurf, Cline и другими.

Установка

Claude Code

claude mcp add intercept -s user -- npx -y intercept-mcp

Codex

codex mcp add intercept -- npx -y intercept-mcp

Cursor

Settings → MCP → Add Server:

{
  "mcpServers": {
    "intercept": {
      "command": "npx",
      "args": ["-y", "intercept-mcp"]
    }
  }
}

Windsurf

Settings → MCP → Add Server → та же конфигурация JSON, что и выше.

Claude Desktop

Добавьте в ваш claude_desktop_config.json:

{
  "mcpServers": {
    "intercept": {
      "command": "npx",
      "args": ["-y", "intercept-mcp"]
    }
  }
}

Другие MCP-клиенты

Любой клиент, поддерживающий stdio MCP-серверы, может запустить npx -y intercept-mcp.

Для инструмента fetch ключи API не нужны.

Related MCP server: urltomarkdown-mcp

Как это работает

URL-адреса обрабатываются в четыре этапа:

1. Обработчики для конкретных сайтов

Известные шаблоны URL направляются к специализированным обработчикам перед конвейером резервных стратегий:

2. Общий кэш (agentsweb.org)

Перед обращением к любому загрузчику каждый запрос проверяет agentsweb.org — глобальный общий кэш Markdown для ИИ-агентов. Если другой агент уже загрузил этот URL, вы получите результат менее чем за 50 мс.

Каждая успешная загрузка автоматически вносит вклад в общую базу. Записи получают доверие через модель самовосстанавливающегося консенсуса: когда независимые экземпляры загружают один и тот же URL и подтверждают одинаковый контент, уровень доверия повышается.

Вы можете полностью отказаться от этого с помощью INTERCEPT_SHARED_CACHE=false или использовать режим «только чтение» (потреблять, но не вносить вклад) с помощью INTERCEPT_CACHE_READ_ONLY=true.

API agentsweb.org

agentsweb.org также предоставляет отдельные конечные точки для прямого использования:

• /web?q= — поиск в интернете

• /research?q= — поиск + загрузка + кэширование за один вызов

• /fetch?url= — загрузка по запросу, автоматическое кэширование

См. agentsweb.org/docs для полной документации API.

3. Конвейер резервных стратегий

Если ни один обработчик не подошел (или обработчик ничего не вернул), URL попадает в многоуровневый конвейер:

Загрузчики уровня 2 работают параллельно. Когда успешно срабатывают несколько, побеждает результат наивысшего качества. Все остальные уровни работают последовательно.

Все загрузчики возвращают корректный Markdown (заголовки, ссылки, жирный шрифт, таблицы, блоки кода) через Turndown — не обычный текст.

4. Кэширование

Результаты кэшируются в оперативной памяти с TTL (30 минут для успешных, 5 минут для неудачных). Максимум 100 записей с вытеснением LRU. Неудачные URL кэшируются, чтобы предотвратить повторные попытки для заведомо нерабочих ссылок.

Инструменты

fetch

Загрузить URL и вернуть его содержимое в виде чистого Markdown.

• url (строка, обязательно) — URL для загрузки

• maxTier (число, опционально, 1-5) — остановиться на этом уровне для случаев, чувствительных к скорости

search

Поиск в интернете и возврат результатов.

• query (строка, обязательно) — поисковый запрос

• count (число, опционально, 1-20, по умолчанию 5) — количество результатов

Использует Brave Search API, если установлен BRAVE_API_KEY, затем SearXNG, если установлен SEARXNG_URL, и в последнюю очередь DuckDuckGo как ненадежный резервный вариант.

Промпты

research-topic

Поиск темы и загрузка топовых результатов для создания сводки из нескольких источников.

• topic (строка) — тема для исследования

• depth (строка, по умолчанию "3") — количество топовых результатов для загрузки

extract-article

Загрузка URL и извлечение ключевых моментов из контента.

• url (строка) — URL для загрузки и суммаризации

Переменные окружения

Поиск: Есть резервный вариант DuckDuckGo, но он ограничен по частоте запросов и ненадежен. Для промышленного использования разверните SearXNG и установите SEARXNG_URL (см. ниже) или получите ключ Brave Search API.

Загрузка: Работает без каких-либо ключей. Установите CF_API_TOKEN + CF_ACCOUNT_ID для включения Cloudflare Browser Run (ранее Browser Rendering) для страниц с интенсивным использованием JavaScript (SPA, сайты на React).

Скрытая загрузка (USE_STEALTH_FETCH)

Используйте на свой страх и риск. При включении добавляется загрузчик, который имитирует реальные TLS-отпечатки браузера (наборы шифров Chrome/Firefox, настройки HTTP/2, порядок заголовков) с использованием got-scraping. Это может помочь обойти защиту от ботов и CAPTCHA на сайтах, которые в противном случае блокируют автоматизированные запросы.

Этот загрузчик работает на уровне 3 после обычной загрузки. Если обычная загрузка блокируется (CAPTCHA, проверка Cloudflare, 403), скрытый загрузчик повторяет попытку с имитацией браузера.

Это может нарушать условия использования некоторых веб-сайтов. Авторы intercept-mcp не несут ответственности за то, как используется эта функция. Она отключена по умолчанию и должна быть явно активирована.

Использование собственного прокси (HTTPS_PROXY)

Если обычные загрузки начинают помечаться как подозрительные, наиболее эффективным решением обычно является чистый исходящий IP — а не более сложный отпечаток. intercept-mcp учитывает стандартные переменные окружения HTTPS_PROXY / HTTP_PROXY / NO_PROXY, поэтому вы можете направлять весь исходящий трафик через любой прокси, который у вас уже есть:

HTTPS_PROXY=http://user:pass@proxy.example.com:8080 npx intercept-mcp

Это работает с любым HTTP(S)-прокси — самохостинг Squid, выходной узел Tailscale, VPS за $5 с запущенным 3proxy или коммерческие резидентские прокси (Bright Data, Oxylabs и т.д.). Скрытый загрузчик и вызовы got-scraping также автоматически подхватывают эти настройки.

Самохостинг SearXNG

Для надежного поиска разверните SearXNG с помощью Docker. Конфигурация включена в репозиторий:

git clone https://github.com/bighippoman/intercept-mcp.git
cd intercept-mcp/searxng && docker compose up -d

Затем установите SEARXNG_URL=http://localhost:8888. Никаких ограничений по частоте, никаких CAPTCHA, агрегирует Google + Bing + DuckDuckGo + Wikipedia + Brave.

Или используйте любой существующий экземпляр SearXNG — просто установите SEARXNG_URL на его адрес.

Нормализация URL

Входящие URL автоматически очищаются:

• Удаляются 60+ параметров отслеживания (UTM, click ID, аналитика, A/B тестирование и т.д.)

• Удаляются фрагменты хеша

• Обновляются до HTTPS

• Очищаются артефакты AMP

• Сохраняются функциональные параметры (ref, format, page, offset, limit)

Оценка качества контента

Результат каждого загрузчика оценивается на качество. Автоматический отказ при:

• CAPTCHA / проверках Cloudflare

• Экранах входа (логин-стенах)

• Страницах с ошибками HTTP в теле ответа

• Контенте менее 200 символов

Требования

• Node.js >= 18

• Для базового использования ключи API не требуются