Skip to main content
Glama

py-mcp-full

PY クローラー開発フルツールセット — MacCMS動画サイト分析 + インテリジェントソースコード生成 + セレクターデバッグ + 再生リンクデバッグ + インターフェーステスト + コード規約評価 + フルファイル操作

MCP (Model Context Protocol) プロトコルに基づき、AIプログラミングアシスタント向けに18個の専門ツールを提供し、動画クローラー開発の全プロセスをカバーします。

✨ 特徴

  • 🔍 ウェブサイト構造の深度分析 — MacCMS v8/v10/収集API/非標準アーキテクチャを自動識別

  • 🤖 インテリジェントソースコード生成 — 分析結果に基づき、T3/T4クローラーソースをワンクリックで生成

  • 🎯 セレクターデバッグ — XPath/CSSセレクターのマッチング結果をリアルタイムで検証

  • 🎬 再生リンクデバッグ — m3u8/mp4直リンクを再帰的に解析、v8/v10 JS変数の抽出をサポート

  • 🧪 インターフェーステスト — 5つの主要インターフェース(home/category/detail/search/play)の自動テスト

  • 📋 規約評価 — クローラーソースコードの規約を12項目で加重チェック

  • 📁 フルファイル操作 — read/write/delete/mkdir/move/copy/info/cwd

🚀 クイックスタート

インストール

git clone https://github.com/sunniu-hjdhnx/py-mcp-full.git
cd py-mcp-full
npm install

MCPクライアントの設定

Claude Desktop / Cursor / Cherry StudioなどのMCPクライアントの設定に以下を追加します:

{
  "mcpServers": {
    "py_mcp_full": {
      "command": "node",
      "args": ["/path/to/py-mcp-full/index.js"],
      "env": {
        "ROOT": "/path/to/your/spider/project"
      }
    }
  }
}

ROOT 環境変数はクローラーソースプロジェクトのルートディレクトリを指定します。ファイル操作ツールはこのパスに基づきます。

軽量デプロイ(オプション)

esbuildを使用して単一ファイルにパッケージ化し、node_modulesを不要にします:

npm install -g esbuild
esbuild index.js --bundle --platform=node --format=cjs --target=node22 --outfile=dist/index.cjs

パッケージ化後の設定:

{
  "mcpServers": {
    "py_mcp_full": {
      "command": "node",
      "args": ["dist/index.cjs"],
      "env": { "ROOT": "/path/to/your/spider/project" }
    }
  }
}

🛠 ツールリスト(18個)

クローラー開発ツール(10個)

ツール

機能

必須パラメータ

analyze_website

ウェブサイト構造の深度分析、CMSタイプの識別

url

create_spider_source

クローラーソースコードのインテリジェント生成

url

debug_selector

CSSセレクターのマッチング結果を検証

url, selector

debug_play_link

再生リンク抽出の再帰的デバッグ

url

test_interface

5つの主要インターフェースのテスト

source_code, interface

evaluate_source

コード規約の適合度を評価

source_code

fetch_url

ページコンテンツの取得

url

edit_file

ファイル内容の置換

path, search_text, replace_text

find_in_file

ファイル内容の検索

path, keyword

list_directory

ディレクトリ内容のリスト表示

path

ファイル操作ツール(8個)

ツール

機能

必須パラメータ

read_file

ファイルの読み込み(セグメント対応)

path

write_file

ファイルへの書き込み(上書き/追記)

path, content

delete_file

ファイルまたはディレクトリの削除

path

create_directory

ディレクトリの作成(再帰対応)

path

move_file

移動/名前変更

source, destination

copy_file

ファイルのコピー

source, destination

file_info

ファイル詳細情報の取得

path

get_cwd

作業ディレクトリの取得

📖 使用フロー

① analyze_website(url="https://example.com")
   → 识别CMS类型,获取HTML结构参数

② debug_selector(url="...", selector="//div[contains(@class,'item')]")
   → 验证选择器是否正确

③ create_spider_source(url="...", mode="T4")
   → 生成完整爬虫源代码

④ test_interface(source_code="...", interface="all")
   → 测试五大接口是否正常

⑤ evaluate_source(source_code="...")
   → 检查规范符合度

🏗 プロジェクト構造

py-mcp-full/
├── index.js          # 主程序(1409行)
├── package.json      # 依赖配置
├── manifest.json     # 工具 Schema 定义
└── 使用说明.md        # 中文详细文档

リポジトリの説明

このREADMEはプロジェクトの基本情報とリポジトリの境界を説明するためのものであり、技術的な学習と交流のみを目的としています。使用ガイド、導入ガイド、またはリソースの説明は含まれていません。

謝辞

hjdhnxのホームページ

📄 ライセンス

MIT

Related MCP Connectors