opencode-eyes-nvidia 👁️

MCP server that provides image description capability using NVIDIA NIM hosted API (https://integrate.api.nvidia.com/v1) with the MiniMax-M3 multimodal model.

マルチモーダル機能を持たないモデルに**「目」**を提供します。画像を入力すると、詳細な画像のテキスト説明が得られます。

機能

Related MCP server: vision-mcp

マルチモーダルモデル

デフォルトモデルは minimaxai/minimax-m3（テキスト/画像/動画入力 → テキスト出力、1M コンテキスト、推論対応）です。 NVIDIA_MODEL または describe_image の model パラメータで切り替えられます：

環境変数

* 少なくとも1つの Key の設定が必要です：NVIDIA_API_KEY、NVIDIA_API_KEYS、NVIDIA_API_KEY_1..N のいずれかでOK。同時に設定も可能です（重複はマージ）。

Key ローテーション（複数 Key の自動切り替え）

複数の API Key を設定できます：リクエストは順番に使用され、エラーが発生すると自動的に次の Key に切り替わります。元の Key は削除されず、 キュー末尾に移動され、クォータがリフレッシュされるのを待ってから再利用されます。全プロセス自動リトライで、手動での介入は不要です。

動作方式：

1. 起動時にすべての Key を1つのキューに統合します（重複排除、NVIDIA_API_KEY → NVIDIA_API_KEYS → NVIDIA_API_KEY_1..N の順）。

2. リクエストはデフォルトでキューの先頭の Key を使用します。

3. リトライ可能なエラー（HTTP 401 / 403 / 404 / 408 / 429 / 5xx、または接続タイムアウト）が発生した場合： キューの先頭の Key を末尾に移動し、NVIDIA_ROTATION_BACKOFF 秒待ってから次の Key でリトライします。

4. すべての Key をローテーションした後（合計 NVIDIA_ROTATION_MAX_RETRIES 回の試行）も成功しない場合にのみ、最後のエラーをスローします。

5. キューの状態は複数回の呼び出し間で保持されます——レート制限された Key は後方に並び、次に回ってきた頃にはクォータがリフレッシュされていることが多いです。

例：

# 方式一：逗号分隔多个 Key
set NVIDIA_API_KEYS=nvapi-key-1,nvapi-key-2,nvapi-key-3

# 方式二：编号 Key
set NVIDIA_API_KEY_1=nvapi-key-1
set NVIDIA_API_KEY_2=nvapi-key-2

# 方式三：单个 Key（向后兼容）
set NVIDIA_API_KEY=nvapi-key-1

OpenCode 設定で環境変数を MCP サービスに渡します：

{
  "mcp": {
    "opencode-eyes-nvidia": {
      "type": "local",
      "command": ["python", "-m", "opencode_eyes_nvidia"],
      "enabled": true,
      "timeout": 120000,
      "environment": {
        "NVIDIA_API_KEYS": "{env:NVIDIA_API_KEYS}"
      }
    }
  }
}

インストール

pip install -r requirements.txt

またはパッケージとしてインストール：

pip install .

実行

# 设置环境变量（Windows，至少一种）
set NVIDIA_API_KEY=nvapi-你的key
# 或 set NVIDIA_API_KEYS=nvapi-key-1,nvapi-key-2

# 启动服务
python -m opencode_eyes_nvidia

OpenCode での設定

{
  "mcp": {
    "opencode-eyes-nvidia": {
      "type": "local",
      "command": ["python", "-m", "opencode_eyes_nvidia"],
      "enabled": true,
      "timeout": 120000,
      "environment": {
        "NVIDIA_API_KEYS": "{env:NVIDIA_API_KEYS}",
        "NVIDIA_API_KEY": "{env:NVIDIA_API_KEY}"
      }
    }
  }
}

手動テスト

opencode を起動せず、stdio 経由で直接検証します：

$env:NVIDIA_API_KEY = "nvapi-xxx"
python -m opencode_eyes_nvidia

その後、別のターミナルで MCP JSON-RPC メッセージを送信します。例：

{"jsonrpc":"2.0","id":1,"method":"initialize","params":{"protocolVersion":"2024-11-05","capabilities":{},"clientInfo":{"name":"test","version":"0.0.0"}}}
{"jsonrpc":"2.0","id":2,"method":"tools/list"}
{"jsonrpc":"2.0","id":3,"method":"tools/call","params":{"name":"describe_image","arguments":{"image_path":"C:/path/to/photo.jpg"}}}

opencode-eyes との違い

• API を StepFun から NVIDIA NIM（https://integrate.api.nvidia.com/v1）に変更

• デフォルトモデルを step-3.7-flash から MiniMax-M3（minimaxai/minimax-m3）に変更

• list_vision_models ツールと複数モデル切り替え機能を追加

• MiniMax-M3 の thinking_mode 推論制御をサポート

• 複数 API Key のローテーションをサポート：エラー時に自動で次の Key に切り替え、元の Key はキュー末尾に移動してクォータのリフレッシュを待機

License

MIT