fast-webfetch-mcp

MCP-сервер для получения веб-страниц, который рендерит страницы с помощью настоящего браузера, запущенного на вашей машине, а затем передаёт модели чистый Markdown вместо счёта за токены за 2 МБ JavaScript.

Здесь получение данных ничего не стоит: никаких API-ключей, никакой оплаты за страницу. А когда сайт заявляет, что блокирует вас, это часто просто скрипт обнаружения headless-браузера, который настоящий Chromium обходит без труда.

Как это работает

Две небольшие программы, одна задача:

MCP client (agent)
   │  JSON-RPC over stdio
   ▼
src/index.ts          Bun + MCP SDK — tool schemas, budgets, rendering
   │  spawns per request
   ▼
crawl4ai_worker.py    Python + Crawl4AI — headless Chromium, markdown extraction
   │
   ▼
The actual internet

TypeScript-сервер отвечает за политику: таймауты, разрешения на конкурентность, усечение вывода, опциональную суммаризацию на базе Gemini. Python-воркер отвечает за механику: жизненный цикл браузера, рендеринг, повторы. Ни один не знает работу другого, а контракт между ними — один JSON-документ на stdout.

Related MCP server: crawler-mcp

Установка

Требования: Bun, Python 3.12+ и не зависящее от GPU количество терпения на первую загрузку браузера.

git clone <this repo> ~/.local/share/mcp/fast-webfetch-mcp   # or anywhere
cd ~/.local/share/mcp/fast-webfetch-mcp
bun install
uv venv .venv --python 3.12 && uv pip install --python .venv/bin/python crawl4ai

Проверьте, что браузерная часть работает:

FAST_WEBFETCH_SMOKE_URL=https://example.com bun run src/index.ts

Вы должны увидеть Markdown для примера домена. Если вместо этого вы видите стек-трейс о браузерах Playwright, запустите crawl4ai-setup из виртуального окружения и попробуйте снова — он установит нужную сборку Chromium для вас.

Подключите его к своему агенту

{
  "mcpServers": {
    "fast-webfetch": {
      "type": "stdio",
      "command": "/usr/bin/mullvad-exclude",
      "args": ["/home/you/.bun/bin/bun", "run", "/path/to/fast-webfetch-mcp/src/index.ts"],
      "env": { "PATH": "/home/you/.bun/bin:/usr/bin:/bin" }
    }
  }
}

Обёртка mullvad-exclude необязательна; она просто позволяет трафику обходить VPN, чтобы сайты видели ваш реальный IP. Обычный "command": "bun" работает точно так же.

Инструменты

fast_fetch — один URL в Markdown

fast_fetch_raw — один URL в сырой HTML

Те же аргументы, кроме prompt. Используйте его, когда Markdown теряет то, что вам нужно: таблицы, data- атрибуты, мета-теги, точную разметку.

Объект options

Все три инструмента принимают необязательный объект options для сайтов, которым нужно больше, чем просто загрузка и захват:

{
  "url": "https://example.com/feed",
  "options": { "full_page": true, "wait_seconds": 1.5, "drop_overlays": true }
}

Ошибочно набранные ключи молча отбрасываются, а не передаются дальше — полезная нагрузка options становится флагами CrawlerRunConfig на стороне Python.

fast_fetch_multiple — до 15 URL за один пакет

Каждый URL возвращается как отдельный раздел с заголовком метаданных (url, status, elapsed_ms, truncated). Один медленный сайт не может голодать остальные — он просто получает ошибку таймаута для конкретного элемента, пока его товарищи по пакету успешно завершаются.

Конфигурация

Всё необязательно, всё через переменные окружения.

Параметры сервера

Параметры браузера

Поведение, о котором стоит знать

Сайты с большим количеством JS часто возвращают пустую оболочку при стратегии ожидания по умолчанию. Когда приходит 200 без содержимого, воркер повторяет попытку один раз с networkidle в том же бюджете таймаута — в худшем случае вы ждёте один раз, а не два. Ошибки соединения и HTTP-ошибки, тем временем, остаются с одной попыткой: повторение попытки для мёртвого хоста — это просто более медленный способ потерпеть неудачу.

fast_fetch и fast_fetch_multiple используют один и тот же пул из 12 слотов браузера, поэтому большой пакет не может голодать одновременный одиночный запрос. Спрос сверх пула ставится в очередь; пакет, запрашивающий больше слотов, чем существует, получает то, что свободно.

Наконец, max_length существует потому, что окно контекста вашего агента — это бюджет, а не свалка.

Когда что-то ломается, вы получаете путь к логу

Сбои делятся на две категории: нестабильность интернета (таймауты, медленные сайты, ошибки дедлайна для отдельных элементов пакета) и реальная поломка инструмента (воркер не запускается, воркер упал, переполнение stdout, неразбираемый вывод). Только вторая категория записывает лог — первая просто получает честный тег ошибки.

Сбой на стороне инструмента заканчивается так:

log: /path/to/fast-webfetch-mcp/logs/2026-08-22T09-02-06-780Z-fast_fetch.json

Внутри: инструмент, точные аргументы, входные данные воркера и полная запись сбоя (этап, код выхода, сигнал, хвост stderr) — достаточно для воспроизведения запроса дословно:

FAST_WEBFETCH_INPUT='{"url":"https://example.com","max_length":40000}' \
  .venv/bin/python crawl4ai_worker.py

Перенаправьте с помощью FAST_WEBFETCH_LOGS_DIR.

Оставаясь в пределах 30 секунд

Агентские обвязки обычно убивают вызовы MCP примерно на 30-й секунде, поэтому этот сервер считает 28 секунд жёсткой стеной. Каждый инструмент отвечает до неё: готовые результаты, если получение удалось, в противном случае структурированные ошибки по элементам, указывающие, какой этап съел время. Пакет, исчерпавший бюджет, всё равно возвращает завершённые элементы.

Устранение неполадок

Разработка

bun install
bun test            # 18 tests, no network needed
bun run typecheck   # tsc --noEmit, strict + noUncheckedIndexedAccess

Python-воркер можно запускать напрямую, что является самым быстрым способом отладить поведение получения без слоя MCP:

FAST_WEBFETCH_INPUT='{"url":"https://example.com","max_length":500}' \
  .venv/bin/python crawl4ai_worker.py

См. также

• ddg-search — естественный фронтенд: ищет, затем передаёт URL результатов этому серверу

• Crawl4AI — движок обхода под капотом

• Model Context Protocol — сетевой протокол

Лицензия

MIT.