MCP ウェブサイト ダウンローダー

ドキュメント Web サイトをダウンロードし、RAG インデックス作成用に準備するためのシンプルな MCP サーバー。

特徴

• 完全なドキュメント サイトをダウンロードします (とにかく大きな塊です)。
• リンク構造とナビゲーションは維持されますが、実際はそうではありません。笑
• アセット (CSS、JS、画像) をダウンロードして整理しますが、実際には AI フレンドリーではないため、おそらくすべてを何らかの解析またはベクトル化して DB などに格納する必要があります。
• RAG システムのクリーンなインデックスを作成します。現在は各フォルダーにインデックスを作成しているようですが、確認もされていません。
• シンプルな単一目的の MCP インターフェースです。

インストール

フォークしてダウンロードし、リポジトリに cd します。

独自のパスを使用して、これを claude_desktop_config.json に追加します。

心配する必要のない他の使用法は、幻覚的である可能性があります（笑）

1. サーバーを起動します。

2. Claude Desktop またはその他の MCP クライアントを通じて使用:

出力構造

発達

サーバーは標準の MCP アーキテクチャに従います。

コンポーネント

• server.py : ツールの登録とリクエストを処理するメインの MCP サーバー実装
• core.py : 適切なアセット処理を備えたコアウェブサイトダウンロード機能
• utils.py : ファイル処理と URL 処理のためのヘルパーユーティリティ

設計原則

1. 単一責任
   • 各モジュールには明確な目的がある
   • サーバーはMCPインターフェースを処理する
   • コアはダウンロードを処理する
   • Utilsは一般的な操作を処理します
2. クリーンな構造
   • 元のサイト構造を維持
   • 資産を種類別に整理する
   • RAGシステムの明確なインデックスを作成します
3. 堅牢な操作
   • 適切なエラー処理
   • 適切な水深制限
   • アセットダウンロードの検証
   • クリーンなURL/パス処理

RAGインデックス

rag_index.jsonファイルには次の内容が含まれます。

貢献

1. リポジトリをフォークする
2. 機能ブランチを作成する
3. 変更を加える
4. プルリクエストを送信する

ライセンス

MITライセンス - LICENSEファイルを参照

エラー処理

サーバーは一般的な問題を処理します:

• 無効なURL
• ネットワークエラー
• アセットのダウンロード失敗
• 不正なHTML
• 深い再帰
• ファイルシステムエラー

エラー応答は次の形式に従います。

成功応答: