MCP 客户端 (Claude Desktop / Cursor / Cline / ...)
   │  stdio
   ▼
omniparser_mcp.py   (本仓库, MCP Server, 薄代理, 仅依赖 mcp + httpx)
   │  HTTP localhost (OMNIPARSER_API_URL, 默认 http://127.0.0.1:8010)
   ▼
omniparserserver    (官方 OmniParser, FastAPI, 模型常驻)
                     YOLOv9 图标检测 + Florence-2 图标描述 + EasyOCR 文本识别

git clone https://github.com/microsoft/OmniParser
cd OmniParser
conda create -n omni python==3.12 && conda activate omni
pip install -r requirements.txt
# 国内网络先设置 $env:HF_ENDPOINT="https://hf-mirror.com"，再按官方 README 下载权重。
# 需要的权重（约 1.3 GB）：
#   weights/icon_detect_v3/model.pt                     （YOLOv9-E 图标检测器）
#   weights/icon_caption_florence/{config.json, generation_config.json, model.safetensors} （Florence-2 描述模型）

# 从本仓库运行。start_backend.ps1 会自动向上层目录探测 OmniParser，
# 但本仓库 clone 后不含官方 OmniParser，通常需显式指定 -OmniParserHome：
pwsh -File start_backend.ps1 -OmniParserHome D:\OmniParser -Device cuda

pip install -r requirements.txt   # 仅 mcp(<2.0) + httpx

{
  "mcpServers": {
    "omniparser": {
      "command": "python",
      "args": ["D:\\OmniParser-MCP\\omniparser_mcp.py"],
      "env": {
        "OMNIPARSER_API_URL": "http://127.0.0.1:8010",
        "OMNIPARSER_HOME": "D:\\OmniParser",
        "OMNIPARSER_DEVICE": "cuda"
      }
    }
  }
}

python test_mcp.py        # 完整测试：需后端已在 8010 运行、且仓库内放一张截图
                          # （默认用 test_image.png，可替换为任意截图）
python test_ci_smoke.py   # 轻量冒烟测试：无需后端/GPU，任何环境可跑

用户: 解析这个截图 C:\shots\app.png 并告诉我搜索框在哪
Agent: 调用 parse_screen(image_path="C:\shots\app.png", image_size="2560,1440")
       → [12] text px=(320,180,880,230) content='Search...' interactivity=True
       搜索框中心 ≈ (600, 205)