embodied-nav-mcp

Ein Sprachmodell, das sich in einem Raum umsehen, zu dem gehen kann, was es benennt, zählen kann, was es sieht, und anhalten kann, wenn es fertig ist.

Das Modell entscheidet, was zu tun ist. Die Sensoren entscheiden, wo die Dinge sind.

Werkzeuge

commit_count übernimmt keine Zahl vom Modell. Zwei Ansichten von vier Kissen ergeben 4, nicht 8.

Die Geometrie ist der Type-3-Stack von Team Xiao Heis feat/xiao-hei-instruction-merge: Größen-Gate, Blindkegel-Behandlung, Konverter-Settle-Pose, Parken beim Verlassen.

Installation

uv sync --extra dev
export ANTHROPIC_API_KEY=...
uv run pytest

Python 3.11+. Live-Roboter/Simulation benötigt ROS Jazzy und den Autonomie-Stack. Tests verwenden einen simulierten Roboter und benötigen keines von beiden.

Ausprobieren

# Dry run, no ROS
uv run embodied-mcp-agent --fake "How many blue chairs are between the table and the wall?"
uv run embodied-mcp-agent --fake "Find the potted plant on the kitchen island closest to the fridge."
uv run embodied-mcp-agent --fake "Take the path near the window to the fridge."

Auf einem Roboter (oder im Challenge-Container) mit laufendem Stack:

uv run embodied-mcp-challenge
# evaluators still run: ros2 launch dummy_vlm dummy_vlm.launch

embodied-mcp --attach-ros sind dieselben Werkzeuge über stdio MCP. Der Challenge-Knoten ruft sie prozessintern auf: Ein Robotercontainer hat keine öffentliche URL für einen entfernten MCP-Connector.

CMU-VLN-Challenge

Drop-in-Adapter: examples/cmu_vln/. Der Paketname dummy_vlm ist unverändert.

Zulässige Sensoren: /camera/image, /registered_scan, /terrain_map, /terrain_map_ext, /state_estimation. Die Ankunft wird über /state_estimation gemeldet, nicht über /way_point_reached. Eine Frage pro Prozess.

Konfiguration

Lizenz

MIT. Eingebettete Geometrie und ROS-I/O von Team Xiao Hei; siehe NOTICE.