Skip to main content
Glama
dowant

LionScraper

by dowant

LionScraper 雄獅(ライオン)スクレイパー MCP + CLI サービス

これは何か?

LionScraper 雄獅スクレイパーは、Webページ内のリスト、記事、リンク、画像などを収集できるブラウザ拡張機能です。本リポジトリで提供するのは、そのための MCP サービスです。これを普段お使いの AI ソフトウェア(例:Cursor)に接続することで、メニューを一つずつクリックすることなく、AIとの対話を通じて収集作業を依頼できるようになります。

これは「小さな橋」のようなものだと考えてください。AIソフトウェアが片側にあり、ブラウザ拡張機能がもう片側にあり、本サービスがその間を取り持ちます。実際の収集ロジックは拡張機能側で実行され、本サービスは接続と転送のみを行います。

Related MCP server: crawl4ai-mcp

使用前の準備

  1. ブラウザ:Chrome または Edge(拡張機能が実際にサポートしているブラウザに準拠)。

  2. 雄獅スクレイパー拡張機能:ブラウザの拡張機能ストアからインストールし、有効化してください(名称はストアの表示に従ってください)。

  3. Node.js:PCに 18以降のバージョン が必要です。未インストールの場合は、Node.js 公式サイト からインストーラーをダウンロードし、指示に従ってインストールしてください。

  4. MCP対応のAIソフトウェア:Cursor、Trae など(各ソフトウェアのMCP対応状況に準拠)。

MCP サービスのインストール(npmパッケージ)

本サービスはnpmで公開されており、パッケージ名は lionscraper です。リンク先で説明やバージョン情報を確認できます。

PCのターミナル(Windowsの場合は「コマンドプロンプト」またはPowerShell)を開き、以下を実行してください:

npm install -g lionscraper

インストールが完了すると、システムに2つのコマンドが追加されます:lionscraper-mcp(AIソフトウェアのMCP接続用)と lionscraper(ターミナルCLI)。どちらも同じローカルデーモンと拡張機能のブリッジに依存しており、PORT(デフォルトは 13808)は拡張機能側のブリッジポートと一致している必要があります。

グローバルインストールをしたくない場合は、AIソフトウェアのMCP設定で npx を使って一時的に取得・実行することも可能です(Node.jsのインストールは必要)。例:起動コマンドを npx に設定し、引数に -y-plionscraperlionscraper-mcp を順に指定します(具体的なJSON形式は、使用するソフトウェアのMCP設定説明を参照してください)。

CLI(ターミナル)

グローバルインストール済みであれば、ターミナルで lionscraper を使用してスクリプト化された収集を行ったり、MCPと並行して使用したりできます(lionscraper daemonPORT を共有します):

  • lionscraper daemon:常駐実行し、同一ポートでHTTP(CLI / 軽量MCP呼び出し)とWebSocket(拡張機能接続)を提供します。

  • lionscraper stop:現在設定されているポート上のデーモンを停止します。

  • lionscraper ping:拡張機能がブリッジに登録されているか確認します(MCP対話を経由しません)。

  • lionscraper scrape:収集を開始します。--method でリスト/本文/メール/電話/リンク/画像などのモードを選択でき、MCPツールの機能と対応しています。

例:

lionscraper daemon
lionscraper ping
lionscraper scrape -u https://www.example.com

より詳細な引数説明、複数URL、ページネーション、フィルタリングなどは、本リポジトリの packages/node/README_cn.md を参照してください。英語およびnpmの表示ページについては、npm上のlionscraperパッケージ を参照してください。

AIソフトウェアへのMCP追加

以下の例はグローバルインストール済みであることを前提としています(ソフトウェアのUIは異なる場合があります)。MCP内の env の値はすべて文字列です。

簡易設定env を記述しない場合、PORT はデフォルトの 13808 となり、拡張機能のブリッジポートと一致させる必要があります):

{
  "mcpServers": {
    "lionscraper": {
      "command": "lionscraper-mcp"
    }
  }
}

詳細設定(必要に応じてキーを削除可能。空文字とキーの省略はほぼ同じ意味です):

{
  "mcpServers": {
    "lionscraper": {
      "command": "lionscraper-mcp",
      "env": {
        "PORT": "13808",
        "TIMEOUT": "120000",
        "LANG": "zh-CN",
        "TOKEN": "",
        "DAEMON": ""
      }
    }
  }
}
  • PORTHTTP + WebSocket のリッスンポート。デフォルトは 13808。拡張機能の ブリッジポート と一致させる必要があります。

  • TIMEOUT:ポート占有時に前回のインスタンスが終了するのを待つミリ秒数。デフォルトは 1200000 は強制的に即時占有を試みます。

  • LANG:ツール説明およびstderrログの言語(例:zh-CNen-US)。

  • TOKEN:デーモンと一致するBearerトークン。空欄は認証なしを意味します。

  • DAEMON0 の場合のみ、軽量MCPによるデーモンの自動起動を禁止します。空欄またはその他の値は省略時と同じです。

設定を保存後、ソフトウェアの要求に従って MCPを再起動またはソフトウェアを再起動 し、設定を反映させてください。

ブラウザ拡張機能でのポート合わせ

  1. 雄獅スクレイパーの 設定またはオプションページ を開きます。

  2. ブリッジポート(または類似の名称)を見つけ、前述のMCP設定の PORT と同じ数字(例:13808)に設定します。

  3. ポートを変更した場合や接続が異常な場合は、拡張機能内で 「再接続」 を試してください。それでも解決しない場合は、拡張機能の再読み込み またはブラウザの再起動を行ってください。

日常的な使い方は?

  1. 拡張機能が 有効 な状態を保ち、収集したいページをブラウザで 開いたまま にしてください(または拡張機能の要求に従ってください)。

  2. AIとの対話で自然言語を使って要望を伝えます。例:

    • 「まず、雄獅スクレイパー拡張機能が接続されているか確認して。」

    • 「このWebページのリストデータ / 記事本文 / メールアドレス / 電話番号 / リンク / 画像を収集して。」

  3. AIがMCPを通じて拡張機能を呼び出します。接続されていない、またはタイムアウトと表示された場合は、AIに 再度接続確認を実行 させ、ポートの一致と拡張機能が有効であることを確認してください。

よくある質問(FAQ)

Q:拡張機能が未接続、または収集失敗と表示される?

  • 拡張機能が開かれており、無効化されていないか確認してください。

  • AIで設定した ポート と拡張機能の ブリッジポート完全に一致 しているか確認してください。

  • 同じPC上で、本サービスと拡張機能のブリッジは通常 1セット あれば十分です。複数のMCP設定を同時に開いたり、重複インストールしたりすると競合の原因になります。

Q:AIで多くの「ツール」が見えているなら、接続は完了している?

必ずしもそうではありません。ツールが見えているのは AIから本サービスまで の区間が通っていることを示すだけであり、拡張機能側も同じポートに接続し、登録を完了している必要があります。

MCP Registry とサードパーティディレクトリへの登録

本リポジトリは 公式MCP Registry にデュアルパッケージとして登録されています(メタデータファイル名はどちらも server.json です):

ディレクトリ

Registry 名称

説明

packages/node/server.json

io.github.dowant/lionscraper-node

npmパッケージ lionscraper に対応。package.jsonmcpName 検証フィールドを含む

packages/python/server.json

io.github.dowant/lionscraper-python

PyPIパッケージ lionscraper に対応。英語の README.md にPyPI説明に必要な mcp-name コメントを含む

Registryへの公開手順の概要(公式CLIのインストールが必要。 Quickstart を参照):

  1. npm / PyPI をそれぞれの server.json 内の version と一致するバージョンで公開します(現在の例は 1.0.3)。

  2. リポジトリルートから packages/node に移動し、mcp-publisher login github を実行(初回のみ)、続いて mcp-publisher publish を実行します。

  3. packages/python に移動し、同様に mcp-publisher publish を実行します(ログイン情報は引き継がれます)。

サードパーティディレクトリには統一された入り口はありません。一般的な手法としては、GlamaAdd Server を使用してサイトの手順に従って提出する方法があります。Smithery は主に 公開HTTPS + Streamable HTTP を対象としており、本リポジトリの stdio + npm/pipインストール を主とする形態とは異なるため、別途ホスティング環境を用意してから検討してください。

ライセンス

MIT(npmパッケージ lionscraper の宣言に準拠)。

Tool Schema Changelog

Recent tool additions, removals, and schema changes observed during successful MCP inspections.

  1. 6 tool updatesv1.0.6
    • First observedping
    • First observedscrape_article
    • First observedscrape_emails
    • First observedscrape_images
    • First observedscrape_phones
    • First observedscrape_urls

TDQS

A4.4/5.0

Scored across 6 tools

Disambiguation5/5

Each tool targets a distinct extraction domain (articles, emails, images, phones, URLs) or connection status (ping). No overlap exists between the specialized scrapers, and the agent can easily select based on desired data type.

Naming Consistency5/5

All extraction tools follow the consistent snake_case pattern scrape_{noun} (scrape_article, scrape_emails, scrape_images, scrape_phones, scrape_urls). 'ping' appropriately deviates as a connectivity utility rather than extraction tool.

Tool Count5/5

Six tools is ideal for this focused scope: one connection manager plus five specific extraction targets. The count avoids bloat while covering the essential extraction workflows for a browser-based scraper.

Completeness4/5

Covers the core extraction lifecycle: connectivity check, URL discovery, and specific data harvesting (articles, emails, images, phones). Documentation references a generic 'scrape' fallback tool that isn't listed, indicating either a minor gap or outdated docs.

Maintenance

ActivityInactive
ResponsivenessNo issues

Related MCP Connectors

Related MCP Servers