Skip to main content
Glama
stranded7
by stranded7

Agent Web Combo

AI 에이전트를 위한 웹 연동 도구 모음: 검색 발견 + 콘텐츠 추출 + Kitesurf/Playwright 렌더링 + agent-reach 플랫폼 읽기.

  • 검색: Tavily / Exa / AnySearch

  • 렌더링: Cloudflare Kitesurf + Playwright(CDP)

  • 플랫폼 콘텐츠: agent-reach(선택 사항)

  • 연동 방식: CLI 및 MCP Server

기능

  • 다중 검색 소스 전환: tavily / exa / anysearch

  • 검색 결과의 페이지 콘텐츠 추출

  • Kitesurf로 페이지 렌더링, 본문 추출, 스크린샷

  • 전체 파이프라인: 검색 → 추출 → 렌더링 → 스크린샷

  • MCP Server: Claude Code / Cursor / OpenCode / DSH Desktop 등에서 직접 호출 가능

Related MCP server: myscrape

아키텍처

搜索发现:Tavily / Exa / AnySearch
        ↓
内容提取:AnySearch extract / Tavily Extract / Exa Contents
        ↓
需要渲染/截图/JS:Kitesurf + Playwright (connectOverCDP)
        ↓
平台类内容/登录态:agent-reach (可选)

프로젝트 구조

agent-web-combo/
├── combo/
│   ├── __main__.py       # CLI 入口
│   ├── cli.py            # 命令行
│   ├── config.py         # 环境变量配置
│   ├── search.py         # Tavily / Exa / AnySearch
│   ├── kitesurf.py       # Kitesurf + Playwright
│   ├── agent_reach.py    # agent-reach CLI
│   └── pipeline.py       # 组合流水线
├── combo_mcp.py          # MCP Server 入口
├── requirements.txt
├── pyproject.toml
└── .env.example

설치

pip install -r requirements.txt
playwright install chromium  # 仅本地调试/备选浏览器时需要;连 Kitesurf 不需要

구성

cp .env.example .env

필요에 따라 입력:

# Cloudflare / Kitesurf(需要 Browser Run 权限)
CF_ACCOUNT_ID=你的账号ID
CF_API_TOKEN=你的API Token

# 搜索源(至少一个;AnySearch 可不填 Key)
TAVILY_API_KEY=tvly-xxx
EXA_API_KEY=xxx
ANYSEARCH_API_KEY=as_sk_xxx

.env 파일은 .gitignore에 포함되어 있으므로 커밋하지 마세요.

CLI 사용법

# 搜索
python -m combo search "Cloudflare Kitesurf" --provider anysearch --max-results 5

# 渲染单个页面 + 截图
python -m combo render "https://example.com" --screenshot output.png

# 完整流水线
python -m combo research "Kitesurf vs Tavily" \
  --provider auto \
  --max-results 5 \
  --extract \
  --render \
  --render-limit 3 \
  --screenshot-dir shots

# 检查 agent-reach
python -m combo agent-reach

MCP 사용법

MCP Server 시작:

python combo_mcp.py

노출되는 도구:

도구

기능

combo_search

검색

combo_render

Kitesurf 렌더링/스크린샷

combo_research

검색 + 추출 + 렌더링

combo_agent_reach

agent-reach 상태 확인

각 클라이언트 구성은 README.mcp.md를 참조하세요.

보안 참고

  • 모든 API 키는 로컬 .env 파일에만 저장

  • .gitignore에 .env, 스크린샷, 캐시 파일 포함

  • MCP 구성에 API 키를 평문으로 작성하지 않음

  • 공개 배포 전에 .env 또는 스크린샷 파일이 커밋되지 않았는지 확인

참고

  • AnySearch는 MCP tools/call HTTP 인터페이스를 사용하며, 익명으로 사용 가능

  • Kitesurf는 Cloudflare Browser Run의 CDP 엔드포인트를 통해 연결

  • Kitesurf는 현재 베타 버전이며, 스크린샷, HTML 추출, DOM 조작 등 에이전트 작업에 적합

Maintenance

ActivitySlowing
ResponsivenessNo issues

Related MCP Connectors

Related MCP Servers

  • A
    license
    Not graded
    quality
    D
    maintenance
    A minimal MCP server for agent-friendly web extraction and search. Offers two tools: fetching real pages with Playwright and Crawl4AI, and searching across 7 engines with automatic fallback.
    34
    AGPL 3.0
  • A
    license
    Not graded
    quality
    C
    maintenance
    A self-contained web-research MCP server that lets local LLM agents search, fetch, and synthesize web content using tools like web_search, web_fetch, and web_research.
    2
    MIT
  • A
    license
    Not graded
    quality
    D
    maintenance
    MCP server that wraps Playwright to give AI agents eyes on the web, enabling browser search, navigation, extraction, and interaction with intelligent LLM-based DOM extraction and skill caching.
    14 npm
    MIT