embodied-nav-mcp

Un modelo de lenguaje que puede mirar alrededor de una habitación, ir a lo que nombra, contar lo que ve y detenerse cuando termina.

El modelo decide qué hacer. Los sensores deciden dónde están las cosas.

Herramientas

commit_count no toma un número del modelo. Dos vistas de cuatro almohadas se convierten en 4, no en 8.

La geometría es la pila Tipo 3 del equipo Xiao Hei feat/xiao-hei-instruction-merge: compuerta de tamaño, manejo de cono ciego, pose de asentamiento del convertidor, estacionamiento al salir.

Instalación

uv sync --extra dev
export ANTHROPIC_API_KEY=...
uv run pytest

Python 3.11+. El robot/simulación en vivo necesita ROS Jazzy y la pila de autonomía. Las pruebas usan un robot falso y no necesitan ninguna de las dos.

Pruébalo

# Dry run, no ROS
uv run embodied-mcp-agent --fake "How many blue chairs are between the table and the wall?"
uv run embodied-mcp-agent --fake "Find the potted plant on the kitchen island closest to the fridge."
uv run embodied-mcp-agent --fake "Take the path near the window to the fridge."

En un robot (o en el contenedor del desafío) con la pila activa:

uv run embodied-mcp-challenge
# evaluators still run: ros2 launch dummy_vlm dummy_vlm.launch

embodied-mcp --attach-ros son las mismas herramientas sobre stdio MCP. El nodo del desafío las llama en proceso: un contenedor de robot no tiene una URL pública para un conector MCP remoto.

CMU VLN Challenge

Adaptador de inserción directa: examples/cmu_vln/. El nombre del paquete dummy_vlm no cambia.

Sensores permitidos: /camera/image, /registered_scan, /terrain_map, /terrain_map_ext, /state_estimation. La llegada es /state_estimation, no /way_point_reached. Una pregunta por proceso.

Configuración

Licencia

MIT. Geometría y E/S ROS incluidos del equipo Xiao Hei; ver NOTICE.