embodied-nav-mcp

部屋を見回し、名前を指定されたものへ移動し、見えたものを数え、完了したら停止できる言語モデル。

モデルは何をするかを決定します。センサーは物がどこにあるかを決定します。

ツール

commit_count はモデルから数値を受け取りません。4つの枕を2回見ても、8ではなく4になります。

ジオメトリはTeam Xiao Heiの feat/xiao-hei-instruction-merge のType 3スタックです: サイズゲート、ブラインドコーン処理、コンバーターのセトルポーズ、退出時パーキング。

インストール

uv sync --extra dev
export ANTHROPIC_API_KEY=...
uv run pytest

Python 3.11以上。実機ロボット/シミュレーションにはROS Jazzyと自律スタックが必要です。テストはフェイクロボットを使用するため、どちらも不要です。

試す

# Dry run, no ROS
uv run embodied-mcp-agent --fake "How many blue chairs are between the table and the wall?"
uv run embodied-mcp-agent --fake "Find the potted plant on the kitchen island closest to the fridge."
uv run embodied-mcp-agent --fake "Take the path near the window to the fridge."

スタックが起動しているロボット(またはチャレンジコンテナ)上で:

uv run embodied-mcp-challenge
# evaluators still run: ros2 launch dummy_vlm dummy_vlm.launch

embodied-mcp --attach-ros はstdio MCP経由の同じツールです。チャレンジノードはこれらをインプロセスで呼び出します。ロボットコンテナにはリモートMCPコネクタ用の公開URLがないためです。

CMU VLN Challenge

ドロップインアダプター: examples/cmu_vln/。パッケージ名 dummy_vlm は変更されていません。

許可されるセンサー: /camera/image、/registered_scan、/terrain_map、/terrain_map_ext、/state_estimation。到着は /way_point_reached ではなく /state_estimation です。プロセスごとに1つの質問です。

設定

ライセンス

MIT。Team Xiao Hei からベンダリングしたジオメトリとROS I/Oを含みます。NOTICE を参照してください。