embodied-nav-mcp

방 안을 둘러보고, 이름을 부른 대상을 찾아가고, 보이는 것을 세고, 작업이 끝나면 멈출 수 있는 언어 모델입니다.

모델은 무엇을 할지 결정합니다. 센서는 사물이 어디에 있는지 결정합니다.

도구

commit_count는 모델로부터 숫자를 받지 않습니다. 베개 4개의 두 뷰는 8이 아닌 4가 됩니다.

지오메트리는 Team Xiao Hei의 feat/xiao-hei-instruction-merge Type 3 스택입니다: 크기 게이트, 블라인드 콘 처리, 컨버터 정착 포즈, 종료 시 주차.

설치

uv sync --extra dev
export ANTHROPIC_API_KEY=...
uv run pytest

Python 3.11+. 실제 로봇/시뮬레이션에는 ROS Jazzy와 자율주행 스택이 필요합니다. 테스트는 가짜 로봇을 사용하므로 둘 다 필요하지 않습니다.

사용해 보기

# Dry run, no ROS
uv run embodied-mcp-agent --fake "How many blue chairs are between the table and the wall?"
uv run embodied-mcp-agent --fake "Find the potted plant on the kitchen island closest to the fridge."
uv run embodied-mcp-agent --fake "Take the path near the window to the fridge."

스택이 실행 중인 로봇(또는 챌린지 컨테이너)에서:

uv run embodied-mcp-challenge
# evaluators still run: ros2 launch dummy_vlm dummy_vlm.launch

embodied-mcp --attach-ros는 stdio MCP를 통한 동일한 도구입니다. 챌린지 노드는 이를 프로세스 내에서 호출합니다: 로봇 컨테이너에는 원격 MCP 커넥터용 공개 URL이 없습니다.

CMU VLN 챌린지

드롭인 어댑터: examples/cmu_vln/. 패키지 이름 dummy_vlm은 변경되지 않았습니다.

허용 센서: /camera/image, /registered_scan, /terrain_map, /terrain_map_ext, /state_estimation. 도착은 /way_point_reached가 아닌 /state_estimation입니다. 프로세스당 질문 하나.

구성

라이선스

MIT. Team Xiao Hei의 벤더드 지오메트리 및 ROS I/O; NOTICE 참조.