scrapling-fetch-mcp

Помогает ИИ-ассистентам получать контент с веб-сайтов, защищенных от ботов. Использует Scrapling (patchright + curl-cffi) для обхода мер защиты от автоматизации, возвращая чистый HTML или Markdown.

Оптимизировано для получения небольших объемов документации и справочных материалов. Не предназначено для массового парсинга или сбора данных.

Требования: Python 3.10+, uv

Навык Claude Code

Проще всего использовать это как навык Claude Code. После установки Claude будет автоматически получать содержимое URL-адресов, защищенных от ботов, когда вы об этом попросите — ручные команды не потребуются.

Установка в ваш проект (рекомендуется — загружается только в контексте этого проекта):

git clone --depth=1 https://github.com/cyberchitta/scrapling-fetch-mcp /tmp/scrapling-fetch-mcp
cp -r /tmp/scrapling-fetch-mcp/skills/s-fetch .claude/skills/
cp -r /tmp/scrapling-fetch-mcp/skills/s-fetch-setup .claude/skills/
rm -rf /tmp/scrapling-fetch-mcp

Или установка для всех проектов (загружается в контекст везде):

git clone --depth=1 https://github.com/cyberchitta/scrapling-fetch-mcp /tmp/scrapling-fetch-mcp
cp -r /tmp/scrapling-fetch-mcp/skills/s-fetch ~/.claude/skills/
cp -r /tmp/scrapling-fetch-mcp/skills/s-fetch-setup ~/.claude/skills/
rm -rf /tmp/scrapling-fetch-mcp

Затем попросите Claude выполнить /s-fetch-setup — он установит инструмент и бинарные файлы браузера (большой объем загрузки), а затем удалит сам себя. После этого просто спрашивайте естественным образом:

"Fetch the docs at https://example.com/api"
"Find all mentions of 'authentication' on that page"
"Get me the installation instructions from their homepage"

Related MCP server: browser-use MCP Server

Claude Desktop (MCP-сервер)

Если вы уже выполнили /s-fetch-setup, инструмент установлен — переходите к настройке ниже.

В противном случае сначала установите:

uv tool install git+https://github.com/cyberchitta/scrapling-fetch-mcp
uvx --from git+https://github.com/cyberchitta/scrapling-fetch-mcp scrapling install

Примечание: Установка браузера загружает сотни МБ и должна завершиться перед первым использованием. Если сервер выдает тайм-аут при первом запуске, подождите несколько минут и попробуйте снова.

Добавьте это в настройки MCP Claude Desktop и перезапустите:

MacOS: ~/Library/Application Support/Claude/claude_desktop_config.json
Windows: %APPDATA%\Claude\claude_desktop_config.json

{
  "mcpServers": {
    "scrapling-fetch": {
      "command": "uvx",
      "args": ["scrapling-fetch-mcp"]
    }
  }
}

Как это работает

Два инструмента, используемые Claude автоматически:

• Получение страниц — извлекает полные страницы с поддержкой пагинации

• Извлечение по шаблону — находит контент, соответствующий регулярному выражению

Три уровня защиты, повышаемые автоматически:

• basic — быстро (1-2 с), работает для большинства сайтов

• stealth — умеренно (3-8 с), headless Chromium

• max-stealth — тщательно (10 с+), полный отпечаток браузера

Ограничения

• Только текстовый контент (документация, статьи, справочники)

• Не для массового парсинга или сайтов, требующих аутентификации

• Производительность зависит от сложности сайта и уровня защиты

Лицензия

Apache 2.0