py-mcp-full
py-mcp-full
PY クローラー開発フルツールセット — MacCMS動画サイト分析 + インテリジェントソースコード生成 + セレクターデバッグ + 再生リンクデバッグ + インターフェーステスト + コード規約評価 + フルファイル操作
MCP (Model Context Protocol) プロトコルに基づき、AIプログラミングアシスタント向けに18個の専門ツールを提供し、動画クローラー開発の全プロセスをカバーします。
✨ 特徴
🔍 ウェブサイト構造の深度分析 — MacCMS v8/v10/収集API/非標準アーキテクチャを自動識別
🤖 インテリジェントソースコード生成 — 分析結果に基づき、T3/T4クローラーソースをワンクリックで生成
🎯 セレクターデバッグ — XPath/CSSセレクターのマッチング結果をリアルタイムで検証
🎬 再生リンクデバッグ — m3u8/mp4直リンクを再帰的に解析、v8/v10 JS変数の抽出をサポート
🧪 インターフェーステスト — 5つの主要インターフェース(home/category/detail/search/play)の自動テスト
📋 規約評価 — クローラーソースコードの規約を12項目で加重チェック
📁 フルファイル操作 — read/write/delete/mkdir/move/copy/info/cwd
🚀 クイックスタート
インストール
git clone https://github.com/sunniu-hjdhnx/py-mcp-full.git
cd py-mcp-full
npm installMCPクライアントの設定
Claude Desktop / Cursor / Cherry StudioなどのMCPクライアントの設定に以下を追加します:
{
"mcpServers": {
"py_mcp_full": {
"command": "node",
"args": ["/path/to/py-mcp-full/index.js"],
"env": {
"ROOT": "/path/to/your/spider/project"
}
}
}
}
ROOT環境変数はクローラーソースプロジェクトのルートディレクトリを指定します。ファイル操作ツールはこのパスに基づきます。
軽量デプロイ(オプション)
esbuildを使用して単一ファイルにパッケージ化し、node_modulesを不要にします:
npm install -g esbuild
esbuild index.js --bundle --platform=node --format=cjs --target=node22 --outfile=dist/index.cjsパッケージ化後の設定:
{
"mcpServers": {
"py_mcp_full": {
"command": "node",
"args": ["dist/index.cjs"],
"env": { "ROOT": "/path/to/your/spider/project" }
}
}
}🛠 ツールリスト(18個)
クローラー開発ツール(10個)
ツール | 機能 | 必須パラメータ |
| ウェブサイト構造の深度分析、CMSタイプの識別 |
|
| クローラーソースコードのインテリジェント生成 |
|
| CSSセレクターのマッチング結果を検証 |
|
| 再生リンク抽出の再帰的デバッグ |
|
| 5つの主要インターフェースのテスト |
|
| コード規約の適合度を評価 |
|
| ページコンテンツの取得 |
|
| ファイル内容の置換 |
|
| ファイル内容の検索 |
|
| ディレクトリ内容のリスト表示 |
|
ファイル操作ツール(8個)
ツール | 機能 | 必須パラメータ |
| ファイルの読み込み(セグメント対応) |
|
| ファイルへの書き込み(上書き/追記) |
|
| ファイルまたはディレクトリの削除 |
|
| ディレクトリの作成(再帰対応) |
|
| 移動/名前変更 |
|
| ファイルのコピー |
|
| ファイル詳細情報の取得 |
|
| 作業ディレクトリの取得 | — |
📖 使用フロー
① analyze_website(url="https://example.com")
→ 识别CMS类型,获取HTML结构参数
② debug_selector(url="...", selector="//div[contains(@class,'item')]")
→ 验证选择器是否正确
③ create_spider_source(url="...", mode="T4")
→ 生成完整爬虫源代码
④ test_interface(source_code="...", interface="all")
→ 测试五大接口是否正常
⑤ evaluate_source(source_code="...")
→ 检查规范符合度🏗 プロジェクト構造
py-mcp-full/
├── index.js # 主程序(1409行)
├── package.json # 依赖配置
├── manifest.json # 工具 Schema 定义
└── 使用说明.md # 中文详细文档リポジトリの説明
このREADMEはプロジェクトの基本情報とリポジトリの境界を説明するためのものであり、技術的な学習と交流のみを目的としています。使用ガイド、導入ガイド、またはリソースの説明は含まれていません。
謝辞
📄 ライセンス
MIT
Related MCP Connectors
Web search, page extraction, visual tools and developer utilities through Baizhi Cloud.
Extract data from any website with this web scraper tool.
19 free website QA and AI-visibility tools. Remote HTTP MCP, no account, no API key.
Hosted MCP: 1873 structured web-data tools for search, maps, commerce, social, gaming & finance.