MCP ウェブサイト ダウンローダー

ドキュメント Web サイトをダウンロードし、RAG インデックス作成用に準備するためのシンプルな MCP サーバー。

特徴

• 完全なドキュメント サイトをダウンロードします (とにかく大きな塊です)。

• リンク構造とナビゲーションは維持されますが、実際はそうではありません。笑

• アセット (CSS、JS、画像) をダウンロードして整理しますが、実際には AI フレンドリーではないため、おそらくすべてを何らかの解析またはベクトル化して DB などに格納する必要があります。

• RAG システムのクリーンなインデックスを作成します。現在は各フォルダーにインデックスを作成しているようですが、確認もされていません。

• シンプルな単一目的の MCP インターフェースです。

Related MCP server: Website Downloader

インストール

フォークしてダウンロードし、リポジトリに cd します。

独自のパスを使用して、これを claude_desktop_config.json に追加します。

心配する必要のない他の使用法は、幻覚的である可能性があります（笑）

1. サーバーを起動します。

2. Claude Desktop またはその他の MCP クライアントを通じて使用:

出力構造

発達

サーバーは標準の MCP アーキテクチャに従います。

コンポーネント

• server.py : ツールの登録とリクエストを処理するメインの MCP サーバー実装

• core.py : 適切なアセット処理を備えたコアウェブサイトダウンロード機能

• utils.py : ファイル処理と URL 処理のためのヘルパーユーティリティ

設計原則

1. 単一責任

   • 各モジュールには明確な目的がある

   • サーバーはMCPインターフェースを処理する

   • コアはダウンロードを処理する

   • Utilsは一般的な操作を処理します

2. クリーンな構造

   • 元のサイト構造を維持

   • 資産を種類別に整理する

   • RAGシステムの明確なインデックスを作成します

3. 堅牢な操作

   • 適切なエラー処理

   • 適切な水深制限

   • アセットダウンロードの検証

   • クリーンなURL/パス処理

RAGインデックス

rag_index.jsonファイルには次の内容が含まれます。

貢献

1. リポジトリをフォークする

2. 機能ブランチを作成する

3. 変更を加える

4. プルリクエストを送信する

ライセンス

MITライセンス - LICENSEファイルを参照

エラー処理

サーバーは一般的な問題を処理します:

• 無効なURL

• ネットワークエラー

• アセットのダウンロード失敗

• 不正なHTML

• 深い再帰

• ファイルシステムエラー

エラー応答は次の形式に従います。

成功応答: