🌙 ムーンドリーム MCP サーバー

Moondreamビジョンモデルを活用したアプリケーションに高度な画像解析機能を提供する、強力なモデルコンテキストプロトコル（MCP）サーバーです。ClaudeおよびClineとシームレスに統合され、AIアシスタントと高度なコンピュータービジョンタスクの橋渡しを行います。

これはMoondreamの公式パッケージではありません。一般向けハードウェアで実行できる最高のオープンソースビジョンモデルを開発したmoondream.aiに、この功績を称えます。

✨ 特徴

• 🖼️画像キャプション: 画像の自然言語による説明を生成します

• 🔍オブジェクト検出：画像内の特定のオブジェクトを識別して位置を特定します

• 💭ビジュアル質問応答：画像の内容について質問し、インテリジェントな回答を受け取ります

• 🚀高性能: 効率的な推論のために量子化された8ビットモデルを使用

• 🔄自動セットアップ：モデルのダウンロードと環境のセットアップを処理します

• 🛠️ MCP 統合: シームレスなツール使用のための標準化されたプロトコル

Related MCP server: Image Toolkit MCP Server

🎯 ユースケース

• コンテンツ分析: 画像コンテンツの説明を自動生成

• アクセシビリティ: 視覚障害のあるユーザー向けの代替テキストを作成する

• データ抽出: 対象を絞った質問を通じて画像から特定の情報を抽出します

• オブジェクト検証: 画像内の特定のオブジェクトの存在を確認します

• シーン理解:複雑なシーンとその構成要素を分析する

🚀 クイックスタート

前提条件

• Node.js v18以上

• Python 3.8以上

• UV パッケージ マネージャー (存在しない場合は自動的にインストールされます)

インストール

1. クローンとセットアップ

git clone <repository-url>
cd moondream-server
pnpm install

2. サーバーを構築する

pnpm run build

残りはサーバーが自動的に処理します。

• Python仮想環境を作成する

• UVが存在しない場合はインストールします

• Moondreamモデルのダウンロードとセットアップ

• モデルサーバープロセスを管理します

Claude/Clineとの統合

MCP 設定ファイル ( claude_desktop_config.jsonまたはcline_mcp_settings.json ) に追加します。

{
  "mcpServers": {
    "moondream": {
      "command": "node",
      "args": ["/path/to/moondream-server/build/index.js"]
    }
  }
}

🛠️ 利用可能なツール

画像を分析する

複数のモードを備えた強力な画像分析ツール:

{
  "name": "analyze_image",
  "arguments": {
    "image_path": string,  // Path to image file
    "prompt": string       // Analysis command
  }
}

プロンプトの種類:

• "generate caption" - 自然言語による説明を作成する

• "detect: [object]" - 特定のオブジェクトを検索します（例: 「detect: car」）

• "[question]" - 画像に関する質問に答えます

例:

// Image Captioning
{
  "image_path": "photo.jpg",
  "prompt": "generate caption"
}

// Object Detection
{
  "image_path": "scene.jpg",
  "prompt": "detect: person"
}

// Visual Q&A
{
  "image_path": "painting.jpg",
  "prompt": "What colors are used in this painting?"
}

🔧 技術的な詳細

建築

サーバーは 2 つのコンポーネントから成るシステムとして動作します。

1. MCPインターフェース層

   • プロトコル通信を処理する

   • ツールインターフェースを管理する

   • リクエスト/レスポンスを処理する

2. Moondream モデルサーバー

   • ビジョンモデルを実行する

   • 画像解析処理

   • HTTP APIエンドポイントを提供する

モデル情報

Moondream 量子化モデルを使用します:

• デフォルト: moondream-2b-int8.mf.gz

• 効率的な8ビット量子化

• Hugging Faceからの自動ダウンロード

• モデルサイズ約500MB

パフォーマンス

• 自動キャッシュによる高速起動

• 量子化による効率的なメモリ使用

• レスポンシブAPIエンドポイント

• 同時リクエスト処理

🔍 デバッグ

よくある問題と解決策:

1. モデルのダウンロードに関する問題

   # Manual model download
   wget https://huggingface.co/vikhyatk/moondream2/resolve/main/moondream-0_5b-int4.mf.gz

2. サーバーポートの競合

   • デフォルトポート: 3475

   • プロセスを確認するには、 lsof -i :3475を使用します。

3. Python環境

   • UVは依存関係を管理する

   • 一時ディレクトリのログを確認する

   • システムの一時フォルダ内の仮想環境

🤝 貢献する

貢献を歓迎します！興味のある分野：

• 追加のモデルサポート

• パフォーマンスの最適化

• 新しい分析機能

• ドキュメントの改善

📄 ライセンス

[ここにライセンス情報を追加してください]

🙏 謝辞

• ムーンドリームモデルチーム

• モデルコンテキストプロトコル（MCP）コミュニティ

• 貢献者とメンテナー