embodied-nav-mcp

Языковая модель, которая может осмотреться в комнате, подойти к тому, что она называет, посчитать, что видит, и остановиться, когда закончит.

Модель решает, что делать. Сенсоры решают, где находятся вещи.

Инструменты

commit_count не принимает число от модели. Два вида четырёх подушек дают 4, а не 8.

Геометрия — это стек Type 3 от команды Xiao Hei из feat/xiao-hei-instruction-merge: размерный гейт, обработка слепой зоны, поза остановки конвертера, парковка при выходе.

Установка

uv sync --extra dev
export ANTHROPIC_API_KEY=...
uv run pytest

Python 3.11+. Для живого робота/симуляции нужны ROS Jazzy и стек автономии. Тесты используют фейкового робота и не требуют ни того, ни другого.

Попробуйте

# Dry run, no ROS
uv run embodied-mcp-agent --fake "How many blue chairs are between the table and the wall?"
uv run embodied-mcp-agent --fake "Find the potted plant on the kitchen island closest to the fridge."
uv run embodied-mcp-agent --fake "Take the path near the window to the fridge."

На роботе (или в контейнере для соревнования) с поднятым стеком:

uv run embodied-mcp-challenge
# evaluators still run: ros2 launch dummy_vlm dummy_vlm.launch

embodied-mcp --attach-ros — это те же инструменты через stdio MCP. Узел соревнования вызывает их внутри процесса: контейнер робота не имеет публичного URL для удалённого MCP-коннектора.

CMU VLN Challenge

Готовый адаптер: examples/cmu_vln/. Имя пакета dummy_vlm не изменено.

Допустимые сенсоры: /camera/image, /registered_scan, /terrain_map, /terrain_map_ext, /state_estimation. Прибытие — это /state_estimation, а не /way_point_reached. Один вопрос на процесс.

Конфигурация

Лицензия

MIT. Вендорная геометрия и ROS I/O от команды Xiao Hei; см. NOTICE.