WebSearch - 高度なWeb検索およびコンテンツ抽出ツール

Python で構築された強力な Web 検索およびコンテンツ抽出ツールで、Firecrawl API を活用して高度な Web スクレイピング、検索、コンテンツ分析機能を実現します。

🚀 機能

• 高度なウェブ検索: カスタマイズ可能なパラメータを使用してインテリジェントなウェブ検索を実行します

• コンテンツ抽出:自然言語プロンプトを使用してWebページから特定の情報を抽出します

• Web クロール: 設定可能な深さと制限で Web サイトをクロールします

• Webスクレイピング: さまざまな出力形式をサポートしたWebページをスクレイピングします

• MCP統合:シームレスな統合を実現するモデルコンテキストプロトコル(MCP)サーバーとして構築

📋 前提条件

• Python 3.8以上

• UVパッケージマネージャー

• Firecrawl APIキー

• OpenAI API キー（オプション、拡張機能用）

• Tavily API キー（オプション、追加の検索機能用）

🛠️ インストール

1. uvをインストールします:

2. リポジトリをクローンします。

3. uv を使用して仮想環境を作成し、アクティブ化します。

4. uv を使用して依存関係をインストールします。

5. 環境変数を設定します。

🎯 使用方法

Claude のデスクトップ版の設定

サーバーを直接実行する代わりに、Claude for Desktop が WebSearch ツールにアクセスするように構成できます。

1. Claude for Desktop 構成ファイルを見つけるか作成します。

   • Windows: %env:AppData%\Claude\claude_desktop_config.json

   • macOS: ~/Library/Application Support/Claude/claude_desktop_config.json

2. WebSearch サーバー構成をmcpServersセクションに追加します。

3. ディレクトリ パスを、WebSearch プロジェクト フォルダーへの絶対パスに置き換えてください。

4. 設定ファイルを保存し、Claude for Desktop を再起動します。

5. 設定が完了すると、WebSearch ツールが Claude for Desktop のツール メニュー (ハンマー アイコン) に表示されます。

利用可能なツール

1. 検索

2. 情報抽出

3. ウェブサイトをクロールする

4. コンテンツをスクレイピングする

📚 APIリファレンス

検索

• query (str): 検索クエリ

• 戻り値: JSON形式の検索結果

抽出する

• urls (List[str]): 情報を抽出するURLのリスト

• prompt (str): 抽出の指示

• enableWebSearch (bool): 補助的なウェブ検索を有効にする

• showSources (bool): ソース参照を含める

• 戻り値: 指定された形式で抽出された情報

クロール

• url (str): 開始URL

• maxDepth (int): 最大クロール深度

• limit (int): クロールする最大ページ数

• 戻り値: クロールされたコンテンツをマークダウン/HTML形式で返します

削る

• url (str): ターゲットURL

• 戻り値: オプションのスクリーンショットを含むスクレイピングされたコンテンツ

🔧 構成

環境変数

このツールが機能するには特定のAPIキーが必要です。テンプレートとして使用できる.env.exampleファイルをご用意しております。

1. サンプルファイルをコピーします。

2. API キーを使用して.envファイルを編集します。

APIキーの取得

1. OpenAI APIキー:

   • OpenAIのプラットフォームを訪問する

   • サインアップまたはログイン

   • APIキーセクションに移動する

   • 新しい秘密鍵を作成する

2. Firecrawl APIキー:

   • Firecrawlのウェブサイトをご覧ください

   • アカウントを作成する

   • ダッシュボードに移動する

   • 新しいAPIキーを生成する

すべてが正しく設定されていれば、検索結果を含む JSON 応答が返されます。

トラブルシューティング

エラーが発生した場合:

1. .envファイルに必要なすべての API キーが設定されていることを確認します。

2. APIキーが有効であり、期限が切れていないことを確認します

3. .envファイルがプロジェクトのルートディレクトリにあることを確認します。

4. 環境変数が正しく読み込まれていることを確認してください

🤝 貢献する

1. リポジトリをフォークする

2. 機能ブランチを作成します（ git checkout -b feature/AmazingFeature ）

3. 変更をコミットします（ git commit -m 'Add some AmazingFeature' ）

4. ブランチにプッシュする ( git push origin feature/AmazingFeature )

5. プルリクエストを開く

📝 ライセンス

このプロジェクトは MIT ライセンスに基づいてライセンスされています - 詳細についてはLICENSEファイルを参照してください。

🙏 謝辞

• 強力なウェブスクレイピングAPIを提供するFirecrawl

• AI機能のためのOpenAI

• MCPプロトコル仕様のMCPコミュニティ

📬 お問い合わせ

ホセ・マルティン・ロドリゲス・モルタローニ - @m4s1t425 - jmrodriguezm13@gmail.com

PythonとFirecrawlを使って❤️で作りました