Agent Web Combo

Una herramienta de conexión a internet para agentes de IA: combinación de búsqueda + extracción de contenido + renderizado con Kitesurf/Playwright + lectura de plataformas agent-reach.

• Búsqueda: Tavily / Exa / AnySearch

• Renderizado: Cloudflare Kitesurf + Playwright (CDP)

• Contenido de plataformas: agent-reach (opcional)

• Modo de acceso: CLI y MCP Server

Funciones

• Cambio entre múltiples fuentes de búsqueda: tavily / exa / anysearch

• Extracción del contenido de las páginas de resultados de búsqueda

• Kitesurf renderiza páginas, extrae el cuerpo del texto y captura pantallas

• Pipeline completo: búsqueda → extracción → renderizado → captura de pantalla

• MCP Server: se puede invocar directamente desde Claude Code / Cursor / OpenCode / DSH Desktop

Related MCP server: myscrape

Arquitectura

搜索发现：Tavily / Exa / AnySearch
        ↓
内容提取：AnySearch extract / Tavily Extract / Exa Contents
        ↓
需要渲染/截图/JS：Kitesurf + Playwright (connectOverCDP)
        ↓
平台类内容/登录态：agent-reach (可选)

Estructura del proyecto

agent-web-combo/
├── combo/
│   ├── __main__.py       # CLI 入口
│   ├── cli.py            # 命令行
│   ├── config.py         # 环境变量配置
│   ├── search.py         # Tavily / Exa / AnySearch
│   ├── kitesurf.py       # Kitesurf + Playwright
│   ├── agent_reach.py    # agent-reach CLI
│   └── pipeline.py       # 组合流水线
├── combo_mcp.py          # MCP Server 入口
├── requirements.txt
├── pyproject.toml
└── .env.example

Instalación

pip install -r requirements.txt
playwright install chromium  # 仅本地调试/备选浏览器时需要；连 Kitesurf 不需要

Configuración

cp .env.example .env

Rellene según sea necesario:

# Cloudflare / Kitesurf（需要 Browser Run 权限）
CF_ACCOUNT_ID=你的账号ID
CF_API_TOKEN=你的API Token

# 搜索源（至少一个；AnySearch 可不填 Key）
TAVILY_API_KEY=tvly-xxx
EXA_API_KEY=xxx
ANYSEARCH_API_KEY=as_sk_xxx

El archivo .env ya está ignorado por .gitignore; no lo envíe al repositorio.

Uso desde CLI

# 搜索
python -m combo search "Cloudflare Kitesurf" --provider anysearch --max-results 5

# 渲染单个页面 + 截图
python -m combo render "https://example.com" --screenshot output.png

# 完整流水线
python -m combo research "Kitesurf vs Tavily" \
  --provider auto \
  --max-results 5 \
  --extract \
  --render \
  --render-limit 3 \
  --screenshot-dir shots

# 检查 agent-reach
python -m combo agent-reach

Uso con MCP

Inicie el MCP Server:

python combo_mcp.py

Herramientas expuestas:

Para la configuración de cada cliente, consulte README.mcp.md.

Notas de seguridad

• Todas las claves de API se guardan únicamente en el archivo local .env

• .gitignore ya excluye .env, capturas de pantalla y caché

• En la configuración de MCP no se escriben claves en texto plano

• Antes de publicar, asegúrese de que no se hayan enviado el archivo .env ni capturas de pantalla

Notas

• AnySearch utiliza la interfaz HTTP tools/call de MCP, disponible de forma anónima

• Kitesurf se conecta a través del endpoint CDP de Cloudflare Browser Run

• Kitesurf se encuentra actualmente en fase Beta; es adecuado para tareas habituales de agentes como captura de pantalla, extracción de HTML y operaciones con el DOM