Skip to main content
Glama

Crawlee MCP

ローカルで動作する Model Context Protocol サーバーで、Crawlee を使用したウェブの取得、クローリング、スクリーンショットを提供します。stdio 上で動作するため、Claude Code、Claude Desktop、Codex、Cursor、および MCP 互換のクライアントで使用できます。

ツール

ツール

説明

fetch_url

単一のURLを取得し、クリーンなマークダウンを返します

fetch_multiple

複数のURLを並行して取得します

crawl

サイトをクロールし、リンクを発見してページコンテンツを返します

screenshot

ページのPNGスクリーンショットを撮影します

ping

ヘルスチェック

Related MCP server: weblens-mcp

インストール

Node.js 20 以降が必要です。JavaScript レンダリングまたはスクリーンショットを初めて使用する際には、Chromium ブラウザも必要です:

npx playwright install chromium

npm に公開されると、すべてのクライアントで次のように起動できます:

npx -y @patrikmichi/crawlee-mcp

npm パッケージが公開されるまでは、GitHub から直接インストールしてください:

npx -y github:patrikmichi/crawlee-mcp

クライアント設定

Claude Code

claude mcp add --transport stdio crawlee -- npx -y @patrikmichi/crawlee-mcp

Claude Desktop

Claude Desktop の設定ファイルに以下を追加します:

{
  "mcpServers": {
    "crawlee": {
      "command": "npx",
      "args": ["-y", "@patrikmichi/crawlee-mcp"]
    }
  }
}

Codex

~/.codex/config.toml に以下を追加します:

[mcp_servers.crawlee]
command = "npx"
args = ["-y", "@patrikmichi/crawlee-mcp"]

その他の MCP クライアント

同じコマンドと引数を使用します:npx -y @patrikmichi/crawlee-mcp。

設定

cp env.example .env

変数

必須

説明

CRAWLEE_PROXY_URLS

いいえ

ローテーション用のカンマ区切りプロキシURL

CRAWLEE_TIMEOUT_MS

いいえ

リクエストタイムアウト(ミリ秒、デフォルト:30000)

CRAWLEE_STEALTH

いいえ

false に設定するとステルスモードを無効化(デフォルト:true)

開発

npm install
npm start          # Run with tsx (no build needed)
npm run build      # Compile TypeScript
npm run typecheck  # Type check only

このサーバーは意図的にローカルかつ stdio 専用です。JavaScript レンダリングとスクリーンショットにはローカルの Playwright ブラウザが必要なためです。

Available Tools

5 tools
crawlA

Crawl a website starting from a seed URL, following discovered links across multiple pages. Returns an array of {url, title, content} objects. Use link_pattern to restrict crawling to specific URL patterns (e.g. "https://example.com/blog/**").

Inputs: url (required), label, max_pages, render_js, +3 more.

fetch_multipleA

Fetch multiple URLs in parallel and return an array of {url, content, error} objects. Useful for bulk research or comparison tasks.

Inputs: urls (required), render_js.

fetch_urlB

Fetch a web page and return its content as clean markdown. Use render_js=true for JavaScript-heavy pages (SPAs, Twitter/X, etc). Use render_js=false for fast HTML-only fetching.

Inputs: url (required), render_js, extract_content.

pingB

Check that the crawlee MCP server is running.

Inputs: no named parameters.

screenshotB

Take a screenshot of a web page and return it as a base64-encoded PNG image.

Inputs: url (required), full_page.

Tool Schema Changelog

Recent tool additions, removals, and schema changes observed during successful MCP inspections.

Loading tool schema changelog…

    TDQS

    A3.8/5.0

    Scored across 5 tools

    Disambiguation5/5

    Each tool has a clearly distinct purpose: fetching a single page, fetching multiple pages in parallel, taking a screenshot, health checking, and crawling a website. There is no overlap or ambiguity between the tools.

    Naming Consistency5/5

    All tool names follow a consistent verb-based pattern using lowercase and underscores where needed (e.g., fetch_url, fetch_multiple). No mixing of styles like camelCase or inconsistent verb forms.

    Tool Count5/5

    With 5 tools, the server is well-scoped for web crawling and scraping. Each tool earns its place: single fetch, batch fetch, screenshot, full crawl, and a health check. The count is neither too thin nor excessive.

    Completeness4/5

    The tool set covers the core workflows of fetching pages and crawling sites, with parallel fetching and screenshot support. Minor gaps exist, such as advanced extraction capabilities or session management, but the surface is practical for typical use cases.

    Related MCP Connectors

    Related MCP Servers

    • A
      license
      Not graded
      quality
      C
      maintenance
      Enables web scraping and crawling capabilities for LLM clients, supporting single-page scraping, multi-page website crawling, and web search with multiple engines (Playwright, Cheerio, Puppeteer) and flexible output formats including markdown, HTML, text, and screenshots.
      7
      MIT
    • A
      license
      A
      quality
      D
      maintenance
      Enables AI agents to fetch and render web pages (including JavaScript-heavy SPAs) with headless Chromium, extract readable content with Mozilla Readability, capture navigation links, download images, and return a clean markdown file path.
      1
      17 npm
      ISC