# 1. 建 venv 并装依赖
python -m venv .venv
.venv/Scripts/python -m pip install -r requirements.txt   # Linux/macOS 用 .venv/bin/python

# 2. 配 Key（复制 .env.example 为 .env，填入 DEEPSEEK_API_KEY；无稳定版 Chrome 会自动用 Edge）
cp .env.example .env

# 3. 跑一条 CLI（低反爬真实网页：arXiv 论文列表）
.venv/Scripts/python -m app.cli "https://arxiv.org/list/cs.AI/recent" --fields title,authors

{
  "success": true,
  "data": {
    "items": [
      {"title": "A Deep Generative Model for Synthesizing Labeled Wireless Signals",
       "authors": "Yuxiao Li, Keke Hu, Santiago Mazuelas, Yuan Shen"},
      {"title": "CUA-Universe: A Scalable and Dynamic Environment for Hybrid GUI+CLI Agents",
       "authors": "Haoting Shi, Wenhao Wang, ..."}
    ]
  },
  "steps": 2,
  "duration_s": 23.5
}

python -m app.cli "URL" "采集目标（自然语言）"              # goal 模式
python -m app.cli "URL" --fields title,price,date           # 结构化 schema 模式
python -m app.cli "URL" --fields title,authors --max-steps 20 --headless 0
python -m app.cli "URL" --fields title,authors -o out.csv   # 导出 CSV（.json 后缀导出 JSON）
python -m app.cli "URL" --fields title,authors --format csv # 直接打印 CSV

uvicorn app.server:app --host 0.0.0.0 --port 8000

curl -X POST http://127.0.0.1:8000/extract \
  -H "Content-Type: application/json" \
  -d '{"url": "https://arxiv.org/list/cs.AI/recent", "fields": ["title", "authors"]}'

streamlit run app/ui.py

docker build -t web-extractor .
docker run --rm -p 8000:8000 -e DEEPSEEK_API_KEY=sk-xxx web-extractor

# 1. .env 配置 VLM Key（二选一，国内直连）
QWEN_API_KEY=sk-xxx        # 通义 Qwen-VL（默认 qwen-vl-plus）
# 或 GLM_API_KEY=xxx       # 智谱 GLM-4V（默认 glm-4v-flash）

# 2. CLI 加 --vision
python -m app.cli "URL" --fields title,price --vision

# HTTP：POST /extract 的 body 加 "vision": true
# Web UI：勾选「视觉模式」

{
  "mcpServers": {
    "web-extractor": {
      "command": "C:\\Users\\zhaozhuweijia516\\Desktop\\browser_use\\.venv\\Scripts\\python.exe",
      "args": ["-m", "app.mcp_server"],
      "cwd": "C:\\Users\\zhaozhuweijia516\\Desktop\\browser_use"
    }
  }
}

claude mcp add web-extractor -- .venv/Scripts/python.exe -m app.mcp_server

┌─────────────────────────────────────────────────────────────┐
│  入口层      CLI (app/cli.py)  ·  FastAPI (app/server.py)  ·  Streamlit (app/ui.py)
├─────────────────────────────────────────────────────────────┤
│  编排层      app/extractor.py   —— 任务构造 / schema 动态生成 / 结果归一化
├─────────────────────────────────────────────────────────────┤
│  模型层      app/config.py      —— browser_use.ChatOpenAI（OpenAI 兼容）
│                                DeepSeek deepseek-chat / Qwen-VL（可切视觉）
├─────────────────────────────────────────────────────────────┤
│  浏览器层    browser_use 0.13  —— cdp-use 直连 Chromium/Edge（CDP 协议，非 Playwright）
└─────────────────────────────────────────────────────────────┘

browser_use/
├── app/
│   ├── __init__.py
│   ├── config.py        # LLM（DeepSeek 文本 / Qwen-VL 视觉）+ 浏览器配置
│   ├── extractor.py     # 核心：ExtractionResult / extract() / 动态 schema
│   ├── cli.py           # CLI 入口
│   ├── server.py        # FastAPI
│   ├── ui.py            # Streamlit
│   ├── mcp_server.py    # MCP server（MCPServer，2 个工具）
│   └── eval.py          # 评测
├── benchmark/
│   └── web_tasks.json   # 评测集
├── .env.example
├── requirements.txt
├── Dockerfile
└── README.md

python -m app.eval               # 跑全部
python -m app.eval --limit 2     # 快速验证前 2 条
python -m app.eval --headless 0  # 有头模式观察