Crawlab MCP サーバー

これは Crawlab のモデル コンテキスト プロトコル (MCP) サーバーであり、AI アプリケーションが Crawlab の機能と対話できるようにします。

概要

MCP サーバーは、AI アプリケーションが Crawlab の機能にアクセスするための標準化された方法を提供します。これには以下が含まれます。

• スパイダー管理（作成、読み取り、更新、削除）

• タスク管理（実行、キャンセル、再開）

• ファイル管理（読み取り、書き込み）

• リソース アクセス (スパイダー、タスク)

建築

MCP サーバー/クライアント アーキテクチャは、AI アプリケーションと Crawlab 間の通信を容易にします。

コミュニケーションフロー

1. ユーザークエリ: ユーザーはMCPクライアントに自然言語クエリを送信します。

2. LLM処理: クライアントはクエリをLLMプロバイダー（例：Claude、OpenAI）に転送します。

3. ツール選択: LLMは必要なツールを識別し、ツール呼び出しを生成します

4. ツール実行: クライアントはツール呼び出しをMCPサーバーに送信します。

5. APIインタラクション: サーバーは対応するCrawlab APIリクエストを実行します。

6. レスポンス生成: 結果はサーバーを経由してクライアントへ、そしてLLMへ返されます。

7. ユーザーの応答: クライアントは最終的な人間が読める応答をユーザーに配信します。

インストールと使用方法

オプション1: Pythonパッケージとしてインストールする

便利な CLI を提供する Python パッケージとして MCP サーバーをインストールできます。

インストール後、CLI を使用できます。

オプション2: ローカルで実行

前提条件

• Python 3.8以上

• Crawlab インスタンスが実行中でありアクセス可能

• CrawlabからのAPIトークン

構成

1. .env.exampleファイルを.envにコピーします。

   cp .env.example .env

2. Crawlab API の詳細を使用して.envファイルを編集します。

   CRAWLAB_API_BASE_URL=http://your-crawlab-instance:8080/api CRAWLAB_API_TOKEN=your_api_token_here

ローカルで実行

1. 依存関係をインストールします:

   pip install -r requirements.txt

2. サーバーを実行します。

   python server.py

Dockerで実行する

1. Docker イメージをビルドします。

   docker build -t crawlab-mcp-server .

2. コンテナを実行します。

   docker run -p 8000:8000 --env-file .env crawlab-mcp-server

Docker Composeとの統合

既存の Crawlab Docker Compose セットアップに MCP サーバーを追加するには、次のサービスをdocker-compose.ymlに追加します。

AIアプリケーションでの使用

MCPサーバーは、AIアプリケーションが自然言語を介してCrawlabと対話することを可能にします。上記のアーキテクチャ図に従って、MCPシステムの使用方法は以下のとおりです。

接続の設定

1. MCPサーバーを起動します。MCPサーバーが実行中でアクセス可能であることを確認します。

2. AIクライアントを構成する: AIアプリケーションをMCPサーバーに接続する

例: Claude Desktop での使用

1. クロードデスクトップを開く

2. 設定 > MCPサーバーへ移動

3. MCP サーバーの URL (例: http://localhost:8000 ) を使用して新しいサーバーを追加します。

4. クロードとの会話では、自然言語でやりたいことを説明することで、Crawlabの機能を使用できるようになりました。

やり取りの例

私たちのアーキテクチャに基づいた、システムとのやり取りの例を以下に示します。

スパイダーを作成する:

タスクを実行する:

利用可能なコマンド

次のような自然言語コマンドを使用してシステムと対話できます。

• 「私のクモをすべてリストする」

• 「これらの仕様で新しいスパイダーを作成します...」

• 「Xという名のクモのコードを見せてください」

• 「このコードを使用して、Spider X の main.py ファイルを更新します...」

• 「スパイダーXを実行し、完了したら通知してください」

• 「スパイダーXの最後の実行結果を見せてください」

利用可能なリソースとツール

これらは、自然言語によるやりとりを可能にする基礎となるツールです。

リソース

• spiders : すべてのクモを一覧表示

• tasks : すべてのタスクを一覧表示する

ツール

クモ管理

• get_spider : 特定のスパイダーの詳細を取得する

• create_spider : 新しいスパイダーを作成する

• update_spider : 既存のスパイダーを更新する

• delete_spider : スパイダーを削除する

タスク管理

• get_task : 特定のタスクの詳細を取得する

• run_spider : スパイダーを実行する

• cancel_task : 実行中のタスクをキャンセルする

• restart_task : タスクを再開する

• get_task_logs : タスクのログを取得する

ファイル管理

• get_spider_files : スパイダーのファイルを一覧表示する

• get_spider_file : 特定のファイルの内容を取得する

• save_spider_file : コンテンツをファイルに保存する