Crawlee MCP

A local Model Context Protocol server for web fetching, crawling, and screenshots with Crawlee. It runs over stdio, so it works with Claude Code, Claude Desktop, Codex, Cursor, and any MCP-compatible client.

Tools

Related MCP server: Crawl4AI MCP

Установка

Требуется Node.js 20 или новее. Первое использование рендеринга JavaScript или скриншотов также требует браузера Chromium:

npx playwright install chromium

После публикации в npm любой клиент может запустить его с помощью:

npx -y @patrikmichi/crawlee-mcp

Пока пакет npm не опубликован, установите напрямую из GitHub:

npx -y github:patrikmichi/crawlee-mcp

Конфигурация клиента

Claude Code

claude mcp add --transport stdio crawlee -- npx -y @patrikmichi/crawlee-mcp

Claude Desktop

Добавьте это в файл конфигурации Claude Desktop:

{
  "mcpServers": {
    "crawlee": {
      "command": "npx",
      "args": ["-y", "@patrikmichi/crawlee-mcp"]
    }
  }
}

Codex

Добавьте это в ~/.codex/config.toml:

[mcp_servers.crawlee]
command = "npx"
args = ["-y", "@patrikmichi/crawlee-mcp"]

Другие MCP-клиенты

Используйте ту же комаду и аргументы: npx -y @patrikmichi/crawlee-mcp.

Конфигурация

cp env.example .env

| Переменная | Обязательно | Описание | t| CRAWLEE_PROXY_URLS | Нет | URL-адреса прокси, разделённые запятыми, для ротации | t| CRAWLEE_TIMEOUT_MS | Нет | Тайм-аут запроса в мс (по умолчанию: 30000) | t| CRAWLEE_STEALTH | Нет | Установите falsе, чтобы отключить скрытый режим (по умолчанию: true) |

Разработка

npm install
npm start          # Run with tsx (no build needed)
npm run build      # Compile TypeScript
npm run typecheck  # Type check only

Этот сервер намеренно локальный и работает только через stdio, поскольку рендеринг JavaScriрт и скриншоты требуют локального браузера Playwright.