Web Scraper MCP

Самодостаточный сервер Model Context Protocol, который предоставляет LLM-клиенту (Claude Code, Cursor, ChatGPT) тот же набор инструментов, что и платные сервисы скрапинга — scrape, crawl, map, search, extract, interact, deep_research — работающий полностью на вашем собственном оборудовании.

Никаких платных прокси/CAPTCHA-сервисов: антибот самодостаточен (headless Chromium + playwright-stealth, robots.txt, вежливое ограничение частоты запросов). Защищённые сайты всё ещё могут блокировать; см. Ограничения.

Tools

extract и deep_research требуют ANTHROPIC_API_KEY.

Related MCP server: Universal Web Data Extraction Platform

Quick start

uv sync                      # install deps (uses the pinned uv.lock)
uv run playwright install chromium
export SCRAPER_AUTH_TOKEN=$(openssl rand -hex 32)
uv run web-scraper-mcp       # HTTP server on http://127.0.0.1:8000/mcp

Stdio (локально, для настольного клиента): SCRAPER_TRANSPORT=stdio uv run web-scraper-mcp.

Docker

Самый быстрый способ начать — загрузить готовый образ с DockerHub.

# Pull the latest image
docker pull PROG_UP_USERNAME/web-scraper-mcp:latest

# Run the container (with Anthropic / Claude)
docker run -p 8000:8000 \
  -e SCRAPER_AUTH_TOKEN=your_secure_token_here \
  -e ANTHROPIC_API_KEY=sk-ant-api03-... \
  PROG_UP_USERNAME/web-scraper-mcp:latest

# Or run the container over stdio (useful for local MCP clients)
docker run -i --rm \
  -e SCRAPER_TRANSPORT=stdio \
  -e SCRAPER_AUTH_TOKEN=your_secure_token_here \
  PROG_UP_USERNAME/web-scraper-mcp:latest

(Убедитесь, что вы заменили PROG_UP_USERNAME на ваше реальное имя пользователя DockerHub).

Using Local Models (Ollama) & Context Windows

Если вы предпочитаете запускать модели локально вместо использования API Anthropic, сервер полностью поддерживает Ollama в качестве альтернативного бэкенда для инструментов extract и deep_research.

docker run -p 8000:8000 \
  -e SCRAPER_AUTH_TOKEN=your_secure_token_here \
  -e SCRAPER_OLLAMA_HOST=http://host.docker.internal:11434 \
  -e SCRAPER_EXTRACT_MODEL=qwen3.5:2b \
  -e SCRAPER_RESEARCH_MODEL=qwen3.5:2b \
  PROG_UP_USERNAME/web-scraper-mcp:latest

[!WARNING] Контекстные окна критически важны! Веб-скрапинг создаёт огромное количество Markdown. extract может отправлять до 100 000 символов, а deep_research — до 16 000 символов в LLM.

По умолчанию Claude изначально обрабатывает большие контексты. Однако контекстное окно Ollama (num_ctx) часто настроено всего на 2 048 токенов. Если вы передадите огромную страницу Википедии локальной модели, она молча обрежет промпт (отбросив ваши инструкции) и вернёт пустые строки!

Мы автоматически передаём "num_ctx": 32768 в Ollama в полезной нагрузке API, чтобы предотвратить это обрезание. Убедитесь, что на вашей локальной машине достаточно RAM/VRAM для поддержки контекстного окна 32K при использовании Ollama!

Register in a client (mcp.json)

Если запуск через HTTP:

{
  "mcpServers": {
    "web-scraper": {
      "url": "http://127.0.0.1:8000/mcp",
      "headers": { "Authorization": "Bearer your_secure_token_here" }
    }
  }
}

Если запуск через stdio (Docker):

{
  "mcpServers": {
    "web-scraper": {
      "command": "docker",
      "args": [
        "run", "-i", "--rm",
        "-e", "SCRAPER_TRANSPORT=stdio",
        "-e", "SCRAPER_OLLAMA_HOST=http://host.docker.internal:11434",
        "-e", "SCRAPER_EXTRACT_MODEL=qwen3.5:2b",
        "-e", "SCRAPER_RESEARCH_MODEL=qwen3.5:2b",
        "PROG_UP_USERNAME/web-scraper-mcp:latest"
      ]
    }
  }
}

Configuration

Все настройки — переменные окружения (префикс SCRAPER_) или файл .env — см. .env.example.

Security

• Защита SSRF — каждый полученный URL (и каждый переход по редиректу) разрешается через DNS и отклоняется, если он указывает на частный / loopback / link-local / cloud-metadata адрес. Браузер также прерывает запросы подресурсов к частным IP.

• Аутентификация — bearer-токен на HTTP-транспорте; по умолчанию привязка к localhost.

• Ограничения ресурсов — размер ответа, таймаут, параллельность страниц, лимиты страниц/глубины обхода для защиты хоста.

• robots.txt + ограничение частоты включены по умолчанию.

• Контейнер — запускается от непривилегированного пользователя; секреты только через переменные окружения.

Supply chain — verifying the image

CI подписывает образ без ключей с помощью cosign (Sigstore), используя OIDC-идентичность GitLab, и прикрепляет аттестацию SPDX SBOM. Проверьте перед запуском:

cosign verify \
  --certificate-oidc-issuer https://gitlab.cri.epita.fr \
  --certificate-identity-regexp 'https://gitlab.cri.epita.fr/enzo.juhel/web-scraper//.*' \
  registry.gitlab.cri.epita.fr/enzo.juhel/web-scraper@sha256:...

Benchmark

benchmarks/run.py оценивает наши scrape/extract на публичных наборах данных и базовом уровне Crawl4AI, выводя таблицу результатов (F1/точность по типам страниц + раздел «Ограничения»). Запустите локально или через ручную задачу CI benchmark:

uv run python benchmarks/run.py --output scorecard.md

Limitations

• Нет платных прокси/CAPTCHA: сильно защищённые сайты (LinkedIn, Amazon, Cloudflare challenges) иногда блокируют нас. Таблица результатов бенчмарка показывает, где именно.

• Извлечение основного контента хорошо работает на статьях, хуже на форумах / страницах товаров / списках (известное свойство всех экстракторов).

• Состояние обхода/сессии в памяти — однопроцессное, однопользовательское по замыслу.

Development

uv run pre-commit install        # local lint/secret hooks
uv run ruff check . && uv run ruff format --check .
uv run mypy src
uv run pytest -q