# 1. 建 venv 并装依赖
python -m venv .venv
.venv/Scripts/python -m pip install -r requirements.txt   # Linux/macOS 用 .venv/bin/python

# 2. 配 Key（复制 .env.example 为 .env，填入 DEEPSEEK_API_KEY；无稳定版 Chrome 会自动用 Edge）
cp .env.example .env

# 3. 冒烟测试（低反爬页面，确认链路通）
.venv/Scripts/python -m app.cli "https://arxiv.org/list/cs.AI/recent" --fields title,authors

# 4. 批量采集（企业场景：一批任务 + 落库）
.venv/Scripts/python -m app.collect run -m examples/manifest.example.json
.venv/Scripts/python -m app.collect stats
.venv/Scripts/python -m app.collect query --platform xhs --limit 20

python -m app.cli "URL" "采集目标（自然语言）"              # goal 模式
python -m app.cli "URL" --fields title,price,rating         # 结构化 schema 模式
python -m app.cli "URL" --fields title,price --vision       # 视觉模式
python -m app.cli "URL" --fields title,price -o out.csv     # 导出 CSV

python -m app.collect run -m examples/manifest.example.json
python -m app.collect query --platform xhs --limit 20
python -m app.collect stats

{
  "tasks": [
    {"url": "https://www.amazon.com/s?k=wireless+earbuds", "fields": ["title", "price", "rating"]},
    {"platform": "xhs", "file": "examples/mediacrawler_xhs_sample.json", "item_type": "note"}
  ]
}

uvicorn app.server:app --host 0.0.0.0 --port 8000

streamlit run app/ui.py
docker build -t web-extractor . && docker run --rm -p 8000:8000 -e DEEPSEEK_API_KEY=sk-xxx web-extractor

                         ┌────────────────────────────┐
                         │  入口层  CLI / FastAPI / Streamlit / MCP
                         └──────────────┬─────────────┘
                                        │  CollectionRequest
                     ┌──────────────────┴──────────────────┐
                     │            app/sources/router.py     │  ← 按目标选择引擎
          ┌──────────┴───────────┐            ┌─────────────┴────────────┐
          │ BrowserUseSource      │            │ MediaCrawlerSource        │
          │ 通用自适应引擎          │            │ 平台数据适配器             │
          │ (browser-use + CDP)   │            │ (读导出文件 + 列映射)       │
          │ 长尾/多变/需视觉页面    │            │ 7 平台：xhs/douyin/...    │
          └──────────┬───────────┘            └─────────────┬────────────┘
                     └──────────────────┬──────────────────┘
                                        │  归一化 CollectedItem
                     ┌──────────────────┴──────────────────┐
                     │           app/store.py（SQLite）      │  ← 去重 / 持久化 / 查询
                     │        items 表 + runs 表（成本对账）  │
                     └─────────────────────────────────────┘

python -m app.cli "URL" --fields title,price --vision    # 需 QWEN_API_KEY 或 GLM_API_KEY

python -m app.eval                        # 跑全部 21 条
python -m app.eval --category 学术          # 只跑某分类（低反爬可实测）
python -m app.eval --id arxiv_cs_ai       # 只跑某任务
python -m app.eval --report eval_report.json   # 输出 JSON 报告

python -m app.eval --benchmark benchmark/golden_tasks.json   # 金标准评测（本地 fixture，不依赖线上站点）

browser_use/
├── app/
│   ├── config.py            # LLM（DeepSeek 文本 / Qwen-VL 视觉）+ 浏览器 + 落库配置
│   ├── extractor.py         # browser-use 核心：动态 schema / 双模式 / 并发
│   ├── proxy.py             # 反爬：IP 代理池（轮换）
│   ├── robots.py            # 反爬：robots.txt 合规检查
│   ├── humanize.py          # 反爬：行为拟人化 + 域名限流
│   ├── sources/             # 数据源抽象层（双引擎）
│   │   ├── base.py          #   DataSource / CollectedItem / CollectionRequest
│   │   ├── browser_use.py   #   通用引擎
│   │   ├── mediacrawler.py  #   平台数据适配器
│   │   └── router.py        #   双引擎路由
│   ├── store.py             # SQLite 落库（去重 / 查询 / 成本对账）
│   ├── batch.py             # 批量编排（manifest → 并发 → 落库）
│   ├── collect.py           # 批量 CLI（run / query / stats）
│   ├── cli.py               # 单条 CLI
│   ├── server.py            # FastAPI
│   ├── ui.py                # Streamlit
│   ├── mcp_server.py        # MCP server
│   ├── golden.py            # 金标准评测（准确率/召回/F1 模糊匹配）
│   ├── insight.py           # 洞察层（竞品威胁评估 + 市场反馈摘要）
│   ├── trend.py             # 记忆管理（变化检测：价格/评分/新竞品/下架）
│   └── eval.py              # 评测
├── examples/
│   ├── manifest.example.json          # 批量任务清单示例
│   ├── mediacrawler_xhs_sample.json   # 平台数据样例（适配器自测用）
│   ├── insight_products.json          # 洞察层样例：竞品数据
│   └── feedback_comments.json         # 洞察层样例：口碑评论
├── benchmark/web_tasks.json    # 企业级评测集（21 任务 + validator）
├── benchmark/golden_tasks.json # 金标准评测集（ground truth）
├── benchmark/fixtures/         # 本地 HTML 快照（金标准 fixture）
├── .env.example / requirements.txt / Dockerfile
└── README.md