visionMCP 👁️

より大きな推論LLMの目。

visionMCP は Model Context Protocol サーバーであり、MCP対応エージェントに真の 視覚 を提供します。テキストのみの推論モデルは、自分では見えないあらゆるタスクをこのサーバーに委譲できます。スクリーンショットの説明、写真に関する質問への回答、ドキュメントのOCR、2つの画像の比較など、サーバーが代わりに「見て」、テキストを返します。

単一の config.json から実行時に選択可能な 3つの主要ビジョンバックエンド すべてで動作します。

機能

• 🔍 4つのビジョンツール を推論LLMが呼び出せます:

  • describe_image — 自然言語による完全な説明

  • ask_about_image — 任意の画像についての特定Q&A

  • extract_text — OCR / 文字起こし

  • compare_images — 横並び比較

• 🖼️ すべてのソースに対応: ローカルファイルパス、http(s) URL、base64 data: URI。

• 📦 画像の事前処理不要: 過大な画像は自動的に縮小・JPEG再エンコードされ、プロバイダーのペイロード制限に適合します。

• 🔌 3つのトランスポート: stdio（デフォルト、ローカルMCPクライアント向け）、http（Streamable HTTP、リモートホスティング用）、sse（レガシーServer-Sent Events）。

• ⚙️ 単一の config.json でプロバイダー、APIキー、API URL、モデルを制御。環境変数やCLIフラグで任意の項目を上書き可能。

• 🚀 uv 管理、インストール・実行・ホスティングが容易。

Related MCP server: depu-img-mcp

クイックスタート

1. インストール

uv および Python ≥ 3.10 が必要です。

cd visionMCP
uv sync

2. 設定

同梱の config.json は既にローカルのOllamaで動作します。ファイルを編集してプロバイダーを切り替えます。

// config.json
{
  "provider": "openai",                  // "ollama" | "openai" | "anthropic"
  "api_key": "sk-...",                   // or leave "" and export OPENAI_API_KEY
  "api_url": "",                         // "" = provider default
  "model": ""                            // "" = provider default
}

すべてのオプションについては docs/configuration.md を、プロバイダーごとのセットアップについては docs/providers.md を参照してください。

セキュリティ: 実際のAPIキーをgitに含めないでください — config.json を config.local.json にコピーするか（自動無視）、環境変数を使用してください。サーバーはキーをログに記録しません。

3. 実行

uv run vision-mcp                        # stdio transport (default)
uv run vision-mcp --transport http --host 0.0.0.0 --port 8100   # host remotely
uv run vision-mcp --show-config          # print resolved config (key masked)

MCPクライアントへの組み込み

opencode (opencode.json)

{
  "mcpServers": {
    "visionMCP": {
      "type": "stdio",
      "command": "uv",
      "args": ["run", "--directory", "/absolute/path/to/visionMCP", "vision-mcp"]
    }
  }
}

Claude Desktop (claude_desktop_config.json)

{
  "mcpServers": {
    "visionMCP": {
      "command": "uv",
      "args": ["run", "--directory", "/absolute/path/to/visionMCP", "vision-mcp"]
    }
  }
}

汎用MCPクライアント (stdio)

{
  "mcpServers": {
    "visionMCP": {
      "command": "/path/to/visionMCP/.venv/bin/vision-mcp",
      "args": ["--config", "/path/to/visionMCP/config.json"]
    }
  }
}

サーバーは、ツール呼び出しで提供された範囲を超えて画像 コンテンツ をビジョンAPIに送信することはありません。画像バイトはメモリ内に保持され、ディスクに書き込まれることはありません。

ツールリファレンス

image 引数は以下を受け入れます:

/path/to/photo.png          # local file
https://example.com/x.jpg   # URL (downloaded at call time)
data:image/png;base64,iVBORw0KGgo...   # base64 data URI

仕組み

すべては src/vision_mcp/pipeline.py の1つの関数に集約されます。

image (path / URL / data URI)  →  base64 + mime  →  vision model  →  text
        _read()                     _encode()         API[provider]    look()

サーバーツールは薄いラッパーです: pipeline.look(cfg, [image], prompt)。

ドキュメント

• 設定リファレンス — すべての設定オプション、環境変数、優先順位ルール

• プロバイダーセットアップ — Ollama、OpenAI、Anthropic をステップバイステップで

• デプロイメント — HTTP/SSEでのホスティング、Docker、セキュリティ強化

開発

uv sync --group dev
uv run ruff check .
uv run pytest

ライセンス

MIT