🌙 ムーンドリーム MCP サーバー
Moondreamビジョンモデルを活用したアプリケーションに高度な画像解析機能を提供する、強力なモデルコンテキストプロトコル（MCP）サーバーです。ClaudeおよびClineとシームレスに統合され、AIアシスタントと高度なコンピュータービジョンタスクの橋渡しを行います。
これはMoondreamの公式パッケージではありません。一般向けハードウェアで実行できる最高のオープンソースビジョンモデルを開発したmoondream.aiに、この功績を称えます。
✨ 特徴
- 🖼️画像キャプション: 画像の自然言語による説明を生成します
- 🔍オブジェクト検出：画像内の特定のオブジェクトを識別して位置を特定します
- 💭ビジュアル質問応答：画像の内容について質問し、インテリジェントな回答を受け取ります
- 🚀高性能: 効率的な推論のために量子化された8ビットモデルを使用
- 🔄自動セットアップ：モデルのダウンロードと環境のセットアップを処理します
- 🛠️ MCP 統合: シームレスなツール使用のための標準化されたプロトコル
🎯 ユースケース
- コンテンツ分析: 画像コンテンツの説明を自動生成
- アクセシビリティ: 視覚障害のあるユーザー向けの代替テキストを作成する
- データ抽出: 対象を絞った質問を通じて画像から特定の情報を抽出します
- オブジェクト検証: 画像内の特定のオブジェクトの存在を確認します
- シーン理解:複雑なシーンとその構成要素を分析する
🚀 クイックスタート
前提条件
- Node.js v18以上
- Python 3.8以上
- UV パッケージ マネージャー (存在しない場合は自動的にインストールされます)
インストール
- クローンとセットアップ
git clone <repository-url>
cd moondream-server
pnpm install
- サーバーを構築する
残りはサーバーが自動的に処理します。
- Python仮想環境を作成する
- UVが存在しない場合はインストールします
- Moondreamモデルのダウンロードとセットアップ
- モデルサーバープロセスを管理します
Claude/Clineとの統合
MCP 設定ファイル ( claude_desktop_config.jsonまたはcline_mcp_settings.json ) に追加します。
{
"mcpServers": {
"moondream": {
"command": "node",
"args": ["/path/to/moondream-server/build/index.js"]
}
}
}
🛠️ 利用可能なツール
画像を分析する
複数のモードを備えた強力な画像分析ツール:
{
"name": "analyze_image",
"arguments": {
"image_path": string, // Path to image file
"prompt": string // Analysis command
}
}
プロンプトの種類:
"generate caption" - 自然言語による説明を作成する"detect: [object]" - 特定のオブジェクトを検索します（例: 「detect: car」）"[question]" - 画像に関する質問に答えます
例:
// Image Captioning
{
"image_path": "photo.jpg",
"prompt": "generate caption"
}
// Object Detection
{
"image_path": "scene.jpg",
"prompt": "detect: person"
}
// Visual Q&A
{
"image_path": "painting.jpg",
"prompt": "What colors are used in this painting?"
}
🔧 技術的な詳細
建築
サーバーは 2 つのコンポーネントから成るシステムとして動作します。
- MCPインターフェース層
- プロトコル通信を処理する
- ツールインターフェースを管理する
- リクエスト/レスポンスを処理する
- Moondream モデルサーバー
- ビジョンモデルを実行する
- 画像解析処理
- HTTP APIエンドポイントを提供する
モデル情報
Moondream 量子化モデルを使用します:
- デフォルト:
moondream-2b-int8.mf.gz - 効率的な8ビット量子化
- Hugging Faceからの自動ダウンロード
- モデルサイズ約500MB
パフォーマンス
- 自動キャッシュによる高速起動
- 量子化による効率的なメモリ使用
- レスポンシブAPIエンドポイント
- 同時リクエスト処理
🔍 デバッグ
よくある問題と解決策:
- モデルのダウンロードに関する問題
# Manual model download
wget https://huggingface.co/vikhyatk/moondream2/resolve/main/moondream-0_5b-int4.mf.gz
- サーバーポートの競合
- デフォルトポート: 3475
- プロセスを確認するには、
lsof -i :3475を使用します。
- Python環境
- UVは依存関係を管理する
- 一時ディレクトリのログを確認する
- システムの一時フォルダ内の仮想環境
🤝 貢献する
貢献を歓迎します！興味のある分野：
- 追加のモデルサポート
- パフォーマンスの最適化
- 新しい分析機能
- ドキュメントの改善
📄 ライセンス
[ここにライセンス情報を追加してください]
🙏 謝辞