Skip to main content
Glama

🕷️ LookaCrawler

Firecrawl に代わる、無料・オープンソース・トークン効率に優れたローカル代替ツール。LLM 向けのネイティブ Model Context Protocol (MCP) サーバーを内蔵。

License: MIT Bun TypeScript MCP Ready GitHub Stars Local-First


📌 なぜ LookaCrawler なのか?

Large Language Models(LLM)向けの Web クロールは、デフォルトのままでは機能不全に陥っています。現代の Web ページには膨大な HTML の冗長要素(スクリプト、トラッキングピクセル、入れ子になった div、ナビゲーションヘッダー、スタイルシート)が含まれており、ページごとに数千ものトークンを無駄に消費します。

LookaCrawler は、オープンソースのトークン最適化型ローカルクローラーです。Web の冗長要素を 73% 超〜90% 削減し、クリーンな Markdown を抽出します。ステルス Playwright ドライバーでアンチボット対策の壁を回避し、Claude Desktop、Cursor、Antigravity に対応したネイティブ Model Context Protocol (MCP) サーバー を提供します。


Related MCP server: TheCrawler

🥊 比較:LookaCrawler vs 代替ツール

機能

🕷️ LookaCrawler

🔥 Firecrawl (Cloud)

⚡ Jina Reader

価格 / コスト

$0.00(100% 無料のオープンソース)

月額 $16〜$99+

レート制限付き API

トークン削減

73% 超〜90% の積極的な削減

標準 Markdown

基本 Markdown

データプライバシー

100% ローカル(テレメトリゼロ)

クラウドプロバイダー

クラウド API

MCP 統合

ネイティブ 1-Click サーバー(stdio & SSE)

コミュニティラッパー

なし

ステルス & アンチボット

実際の Chrome + ステルスフィンガープリント

クラウドプロキシ

基本ヘッダー

ローカル SQLite キャッシュ

内蔵(24時間 TTL キャッシュ)

Redis / 有料アドオン

なし

JS SPA サポート

Playwright + Chrome プール

クラウドヘッドレス

ヘッドレス


🚀 主な機能

  • トークンエコノミー最優先: Markdown を LLM に渡す前に、スクリプト、スタイル、インライン SVG、トラッキングタグ、ナビゲーション、フッター、冗長なフォームを自動的に削除します。

  • デュアルハイブリッドクロールエンジン:

    • fast: バックオフ付きの超高速ネイティブ HTTP GET。アンチボットチャレンジを検出すると自動的に deep にエスカレーションします。

    • deep: 実際の Google Chrome を起動するヘッドレス Playwright エンジン。ステルスパッチ(navigator.webdriver のクリア、WebGL の偽装、CDP リークの除去)を適用し、Cloudflare/Turnstile で保護されたページを透過的にクロールします。

  • ネイティブ MCP サーバープロトコル: Claude Desktop、Cursor、Windsurf、Antigravity に対応した JSON-RPC 2.0 の stdio および SSE トランスポートを備えています。

  • ローカル SQLite キャッシュ: 抽出した Markdown を crawler_cache.sqlite に保存し、重複するネットワークリクエストを排除します。

  • 構造化 JSON & メタデータ抽出: Open Graph タグ(og:title、og:description)、公開日、正規 URL、カスタム CSS セレクターを抽出します。


🔌 1-Click MCP セットアップ(Claude Desktop & Cursor)

claude_desktop_config.json または Cursor の MCP 設定に LookaCrawler を追加します:

{
  "mcpServers": {
    "lookacrawler": {
      "command": "bun",
      "args": ["run", "/absolute/path/to/lookacrawler/index.ts"]
    }
  }
}

これで Claude または Cursor にプロンプトで指示できます:

「LookaCrawler を使用して https://example.com/docs をクロールし、API ドキュメントを抽出してください。」


📦 クイックスタート & CLI の使い方

1. インストール

Bun 1.1+(または Node.js 20+)が必要です:

# Clone the repository
git clone https://github.com/lucasmartins-ai/lookacrawler.git
cd lookacrawler

# Install dependencies
bun install

2. CLI コマンド

# Single URL fast Markdown extraction
bun run cli.ts extract https://news.ycombinator.com --mode fast

# Headless Playwright deep extraction with CSS selector target
bun run cli.ts extract https://example.com --mode deep --selector "main" --json

# Batch concurrent multi-URL crawling
bun run cli.ts batch https://site1.com https://site2.com --concurrency 4

# Structured JSON schema extraction
bun run cli.ts structured https://example.com --schema '{"title":"h1","links":"a"}'

# Start MCP Server via SSE on port 3000
bun run cli.ts serve --transport sse --port 3000

3. Docker デプロイ

# Build and run Docker container
docker build -t lookacrawler .
docker run -p 3000:3000 lookacrawler

🧪 アーキテクチャ & テスト

Incoming URL ──► [Local SQLite Cache Check] ──(Hit)──► Return Cached Markdown
                       │ (Miss)
                       ▼
            [Fast HTTP GET Request] ──(Blocked?)──► [Auto-Escalate to Deep Stealth]
                       │                                      │
                       ▼                                      ▼
            [HTML DOM Tree Parser] ◄──────────────────────────┘
                       │
                       ▼
       [Aggressive Token Noise Pruner]
       (Strips SVG, Nav, Ads, Tracking, CSS, JS)
                       │
                       ▼
         [Mozilla Readability Engine]
                       │
                       ▼
         [Turndown Markdown Converter] ──► Return Clean LLM Markdown

テストスイートを実行:

bun test

⭐ スター & サポート

LookaCrawler が API 費用とトークンコストを節約してくれたなら:

  • ⭐ このリポジトリにスターを付けて、他の開発者が見つけられるようにしましょう!

  • 💡 新しいステルス回避機能やクローラー機能については、Issue / PR を開いてください。


LookADev による開発

lookacrawler は、AI エージェント、Web アーキテクチャ、トークン最適化を専門とするエンジニアリングスタジオ LookADev によって開発・保守されています。

プロジェクトを始める → lookadev.com · メール: lucas@lookadev.com

📄 ライセンス

MIT License の下で提供されるオープンソースソフトウェアです。

Available Tools

9 tools
batch_extract_web_contentA

Batch extract token-optimized Markdown from multiple website URLs concurrently, with aggregate token statistics.

What it does Runs the same fast/deep pipeline as extract_web_content across an array of up to 20 URLs in parallel, then returns per-URL results plus a summary (urls attempted, succeeded, failed, total tokens, and per-page token counts).

How to use

  • Use when you need many pages at once — docs, a list of product pages, a set of sources to compare.

  • mode applies to every URL. concurrency (1-10) caps parallel workers; keep it modest on fast machines / low bandwidth.

  • css_selector is applied to all URLs. headers/cookies/proxy apply globally to every request.

  • Each URL is independent: a single failure does not abort the batch (results carry an "error" field for that URL).

Returns Structured JSON with per-url markdown/tokens/error and aggregate totals. Incomplete or empty batches still return a valid result object.

Inputs: urls (required), mode, proxy, cookies, +4 more.

crawl_websiteB

Recursively crawl an entire website or documentation section with depth limits, URL pattern filtering, and token accounting.

Inputs: start_url (required), mode, max_depth, max_pages, +4 more.

deep_enrich_leadB

Deeply enrich a business lead by crawling its official website with LookaCrawler's token-optimized engine. Extracts verified emails, social media links (Instagram, LinkedIn), decision makers / founders, and generates a concise Markdown summary (<300 tokens) for LLMs.

Inputs: title (required), website (required), mode, phone, +4 more.

discover_local_leadsA

Discover local businesses, establishments, and B2B prospects using the Google Maps engine. Extracts title, category, formatted address, telephone, WhatsApp link, rating, review count, coordinates, and website URL.

Inputs: query (required), lang, limit, location.

extract_contactsA

Extract verified contact information (emails, phone numbers, WhatsApp links, and social media profiles) from a website and its contact subpages. Drastically saves tokens compared to feeding the entire raw DOM to the LLM.

Inputs: url (required), deep_scan.

extract_structured_dataA

Extract structured JSON — page metadata (Open Graph, canonical URL, author, dates) and/or a custom CSS-selector schema — from a website.

What it does Fetches a URL and returns a structured object. With include_metadata=true it reads Open Graph tags (og:title, og:description, og:image), the canonical URL, author, and publication/modified dates. You can also pass a schema (property name -> CSS selector) to pull specific fields (e.g. {"title": "h1", "price": ".price", "rating": "span.rating"}) into a typed object.

How to use

  • Use for product listings, news/metadata, schema-driven extraction, and any time you need fields instead of prose.

  • schema keys become the JSON keys; values are CSS selectors. Leave schema empty to get metadata only.

  • include_metadata (default true) adds the Open Graph / author / date block. Set false for a lean result.

  • mode/css_selector/headers/cookies/proxy behave exactly as in extract_web_content.

Returns JSON object with the requested fields (and/or metadata). Missing selectors are omitted rather than failing the whole call. Non-http or private URLs fail with isError: true.

Inputs: url (required), mode, proxy, schema, +5 more.

extract_web_contentA

Extract token-optimized, clean Markdown content from a target website for LLM consumption.

What it does Fetches a URL, strips HTML bloat (scripts, styles, inline SVGs, tracking tags, navigation, footers, redundant forms) and returns readable Markdown — cutting token usage by ~73% to 90% versus the raw page.

How to use

  • Use for any web page, article, or docs you want as LLM-ready text.

  • mode="fast" (default): native HTTP GET. mode="deep": headless Chrome with stealth fingerprint for JS-heavy or Cloudflare/Turnstile-protected pages.

  • css_selector scopes to a single element (e.g. "main", "article", "#content").

  • Pass headers/cookies for gated or geo-restricted content. Providing any of headers/cookies/proxy bypasses the SQLite cache.

  • No auth required. Respects robots/rate-limit via retry backoff.

Returns Markdown text. Cache hits are prefixed with a NOTE marker. Unsupported URLs (non-http, private IP, SSRF) fail with isError: true and a reason.

Inputs: url (required), mode, proxy, actions, +6 more.

map_websiteA

Discover the architecture and page inventory of a website domain via sitemaps, robots.txt, and link graphs. Returns a list of URLs with source and modification metadata. Useful for exploring a site before targeted crawling.

Inputs: url (required), max_links.

search_placesA

Search for local businesses, places, and establishments on Google Maps, extracting structured entity data (title, address, phone, website, coordinates, rating).

Inputs: query (required), limit.

Tool Schema Changelog

Recent tool additions, removals, and schema changes observed during successful MCP inspections.

Loading tool schema changelog…

    TDQS

    A3.7/5.0

    Scored across 9 tools

    Disambiguation3/5

    Most tools target distinct actions, but two near-duplicate pairs stand out: discover_local_leads vs search_places (both pull the same Google Maps entity fields), and extract_contacts vs deep_enrich_lead (both crawl a business site for emails/socials). Descriptions add some differentiation, but an agent could easily misselect within these pairs.

    Naming Consistency5/5

    All names are snake_case and follow a verb_noun pattern (discover_local_leads, extract_contacts, crawl_website, map_website, search_places). Minor compounds like deep_enrich_lead and batch_extract_web_content are still readable and consistent with the convention.

    Tool Count5/5

    Nine tools is well within the sweet spot for a crawling/scraping server, and each tool covers a distinct capability tier (discovery, extraction, enrichment, batch, site mapping). No obvious padding or redundancy-driven bloat.

    Completeness4/5

    The surface covers the full lead-gen lifecycle: place discovery, contact extraction, lead enrichment, content/markdown extraction, recursive crawl, batch, structured extraction, and sitemap discovery. The main gap is a lack of a status/polling or pagination/continuation operation for long-running crawls or large result sets.

    Maintenance

    ActivityActive
    ResponsivenessNo recent community issues

    Related MCP Connectors

    Related MCP Servers

    • A
      license
      Not graded
      quality
      D
      maintenance
      Open-source web scraper and extraction MCP server with JavaScript rendering, markdown output, PDF/DOCX parsing, structured errors, and validated extraction contract diagnostics for agents.
      2
      AGPL 3.0
    • A
      license
      A
      quality
      B
      maintenance
      A fault-tolerant, stealth-enabled Model Context Protocol (MCP) server for web searching and content fetching. Built for AI Agents (Cursor, Claude Code, OpenCode), it uses a stealth browser engine to fetch pages, dynamically handles SPAs/React, and converts bloat into token-optimized Markdown.
      2
      14 npm
      20 PyPI
      4
      MIT

    Appeared in Searches