agent-web-combo
Agent Web Combo
AI 에이전트를 위한 웹 연동 도구 모음: 검색 발견 + 콘텐츠 추출 + Kitesurf/Playwright 렌더링 + agent-reach 플랫폼 읽기.
검색: Tavily / Exa / AnySearch
렌더링: Cloudflare Kitesurf + Playwright(CDP)
플랫폼 콘텐츠: agent-reach(선택 사항)
연동 방식: CLI 및 MCP Server
기능
다중 검색 소스 전환:
tavily/exa/anysearch검색 결과의 페이지 콘텐츠 추출
Kitesurf로 페이지 렌더링, 본문 추출, 스크린샷
전체 파이프라인: 검색 → 추출 → 렌더링 → 스크린샷
MCP Server: Claude Code / Cursor / OpenCode / DSH Desktop 등에서 직접 호출 가능
Related MCP server: myscrape
아키텍처
搜索发现:Tavily / Exa / AnySearch
↓
内容提取:AnySearch extract / Tavily Extract / Exa Contents
↓
需要渲染/截图/JS:Kitesurf + Playwright (connectOverCDP)
↓
平台类内容/登录态:agent-reach (可选)프로젝트 구조
agent-web-combo/
├── combo/
│ ├── __main__.py # CLI 入口
│ ├── cli.py # 命令行
│ ├── config.py # 环境变量配置
│ ├── search.py # Tavily / Exa / AnySearch
│ ├── kitesurf.py # Kitesurf + Playwright
│ ├── agent_reach.py # agent-reach CLI
│ └── pipeline.py # 组合流水线
├── combo_mcp.py # MCP Server 入口
├── requirements.txt
├── pyproject.toml
└── .env.example설치
pip install -r requirements.txt
playwright install chromium # 仅本地调试/备选浏览器时需要;连 Kitesurf 不需要구성
cp .env.example .env필요에 따라 입력:
# Cloudflare / Kitesurf(需要 Browser Run 权限)
CF_ACCOUNT_ID=你的账号ID
CF_API_TOKEN=你的API Token
# 搜索源(至少一个;AnySearch 可不填 Key)
TAVILY_API_KEY=tvly-xxx
EXA_API_KEY=xxx
ANYSEARCH_API_KEY=as_sk_xxx
.env파일은.gitignore에 포함되어 있으므로 커밋하지 마세요.
CLI 사용법
# 搜索
python -m combo search "Cloudflare Kitesurf" --provider anysearch --max-results 5
# 渲染单个页面 + 截图
python -m combo render "https://example.com" --screenshot output.png
# 完整流水线
python -m combo research "Kitesurf vs Tavily" \
--provider auto \
--max-results 5 \
--extract \
--render \
--render-limit 3 \
--screenshot-dir shots
# 检查 agent-reach
python -m combo agent-reachMCP 사용법
MCP Server 시작:
python combo_mcp.py노출되는 도구:
도구 | 기능 |
| 검색 |
| Kitesurf 렌더링/스크린샷 |
| 검색 + 추출 + 렌더링 |
| agent-reach 상태 확인 |
각 클라이언트 구성은 README.mcp.md를 참조하세요.
보안 참고
모든 API 키는 로컬
.env파일에만 저장.gitignore에.env, 스크린샷, 캐시 파일 포함MCP 구성에 API 키를 평문으로 작성하지 않음
공개 배포 전에
.env또는 스크린샷 파일이 커밋되지 않았는지 확인
참고
AnySearch는 MCP
tools/callHTTP 인터페이스를 사용하며, 익명으로 사용 가능Kitesurf는 Cloudflare Browser Run의 CDP 엔드포인트를 통해 연결
Kitesurf는 현재 베타 버전이며, 스크린샷, HTML 추출, DOM 조작 등 에이전트 작업에 적합
This server cannot be deployed
Maintenance
Related MCP Connectors
Scrape, crawl and search the web for AI agents via MCP.
MCP server for Firecrawl — web search, scraping, and biomedical/arXiv paper search.
Docs: https://docs.keenable.ai/mcp-server Keenable is a free, remote MCP server that gives agents access to the web index. Search the web with ranked results and date/site filters, then fetch any indexed page as clean markdown. Works out of the box with no account or API key.
Free web search for AI agents. No API key required. Hosted MCP in active development.
Related MCP Servers
- AlicenseNot gradedqualityDmaintenanceA minimal MCP server for agent-friendly web extraction and search. Offers two tools: fetching real pages with Playwright and Crawl4AI, and searching across 7 engines with automatic fallback.34AGPL 3.0
- AlicenseNot gradedqualityCmaintenanceA self-contained web-research MCP server that lets local LLM agents search, fetch, and synthesize web content using tools like web_search, web_fetch, and web_research.2MIT
- AlicenseNot gradedqualityDmaintenanceMCP server that wraps Playwright to give AI agents eyes on the web, enabling browser search, navigation, extraction, and interaction with intelligent LLM-based DOM extraction and skill caching.14 npmMIT
- FlicenseNot gradedqualityDmaintenanceMCP server that enables AI agents to search the web and extract clean Markdown content, with support for JavaScript rendering, structured data extraction, and screenshots.1-