Agent Web Combo

Eine Online-Toolkombination für KI-Agenten: Suche & Entdeckung + Inhaltsextraktion + Kitesurf/Playwright-Rendering + agent-reach-Plattformlesen.

• Suche: Tavily / Exa / AnySearch

• Rendering: Cloudflare Kitesurf + Playwright (CDP)

• Plattforminhalte: agent-reach (optional)

• Anbindung: CLI und MCP-Server

Funktionen

• Mehrere Suchquellen umschalten: tavily / exa / anysearch

• Seiteninhalte aus Suchergebnissen extrahieren

• Kitesurf-Seiten rendern, Haupttext extrahieren, Screenshots erstellen

• Vollständige Pipeline: Suche → Extraktion → Rendering → Screenshot

• MCP-Server: Direkt aufrufbar von Claude Code / Cursor / OpenCode / DSH Desktop usw.

Related MCP server: myscrape

Architektur

搜索发现：Tavily / Exa / AnySearch
        ↓
内容提取：AnySearch extract / Tavily Extract / Exa Contents
        ↓
需要渲染/截图/JS：Kitesurf + Playwright (connectOverCDP)
        ↓
平台类内容/登录态：agent-reach (可选)

Projektstruktur

agent-web-combo/
├── combo/
│   ├── __main__.py       # CLI 入口
│   ├── cli.py            # 命令行
│   ├── config.py         # 环境变量配置
│   ├── search.py         # Tavily / Exa / AnySearch
│   ├── kitesurf.py       # Kitesurf + Playwright
│   ├── agent_reach.py    # agent-reach CLI
│   └── pipeline.py       # 组合流水线
├── combo_mcp.py          # MCP Server 入口
├── requirements.txt
├── pyproject.toml
└── .env.example

Installation

pip install -r requirements.txt
playwright install chromium  # 仅本地调试/备选浏览器时需要；连 Kitesurf 不需要

Konfiguration

cp .env.example .env

Nach Bedarf ausfüllen:

# Cloudflare / Kitesurf（需要 Browser Run 权限）
CF_ACCOUNT_ID=你的账号ID
CF_API_TOKEN=你的API Token

# 搜索源（至少一个；AnySearch 可不填 Key）
TAVILY_API_KEY=tvly-xxx
EXA_API_KEY=xxx
ANYSEARCH_API_KEY=as_sk_xxx

.env wird von .gitignore ignoriert. Bitte nicht committen.

CLI-Verwendung

# 搜索
python -m combo search "Cloudflare Kitesurf" --provider anysearch --max-results 5

# 渲染单个页面 + 截图
python -m combo render "https://example.com" --screenshot output.png

# 完整流水线
python -m combo research "Kitesurf vs Tavily" \
  --provider auto \
  --max-results 5 \
  --extract \
  --render \
  --render-limit 3 \
  --screenshot-dir shots

# 检查 agent-reach
python -m combo agent-reach

MCP-Verwendung

MCP-Server starten:

python combo_mcp.py

Verfügbare Tools:

Konfiguration für die jeweiligen Clients siehe README.mcp.md.

Sicherheitshinweise

• Alle API-Keys liegen nur in der lokalen .env

• .gitignore ignoriert .env, Screenshots und Cache

• Keine Klartext-Schlüssel in der MCP-Konfiguration

• Vor der Veröffentlichung sicherstellen, dass keine .env- oder Screenshot-Dateien committet wurden

Hinweise

• AnySearch nutzt die MCP-tools/call-HTTP-Schnittstelle und ist anonym nutzbar

• Kitesurf verbindet sich über den CDP-Endpoint von Cloudflare Browser Run

• Kitesurf ist derzeit in der Beta-Phase und eignet sich für typische Agent-Aufgaben wie Screenshots, HTML-Extraktion und DOM-Operationen