intercept-mcp

AI에게 웹을 읽을 수 있는 능력을 부여하세요. 명령어 하나면 충분하며, API 키가 필요 없습니다.

이 도구가 없으면 AI는 URL에 접속할 때 403 오류, 차단 벽, 또는 원시 HTML 덩어리를 마주하게 됩니다. intercept를 사용하면 거의 항상 깔끔한 마크다운 형식으로 콘텐츠를 가져와 바로 사용할 수 있습니다.

트윗, YouTube 동영상(가능한 경우 자막 포함), arXiv 논문, PDF, Wikipedia 문서 및 GitHub 저장소를 처리합니다. 첫 번째 전략이 실패하면 포기하기 전에 최대 10번까지 추가 시도합니다.

Claude Code, Claude Desktop, Codex, Cursor, Windsurf, Cline 등 모든 MCP 클라이언트와 호환됩니다.

설치

Claude Code

claude mcp add intercept -s user -- npx -y intercept-mcp

Codex

codex mcp add intercept -- npx -y intercept-mcp

Cursor

Settings → MCP → Add Server:

{
  "mcpServers": {
    "intercept": {
      "command": "npx",
      "args": ["-y", "intercept-mcp"]
    }
  }
}

Windsurf

Settings → MCP → Add Server → 위와 동일한 JSON 설정 사용.

Claude Desktop

claude_desktop_config.json에 추가하세요:

{
  "mcpServers": {
    "intercept": {
      "command": "npx",
      "args": ["-y", "intercept-mcp"]
    }
  }
}

기타 MCP 클라이언트

stdio MCP 서버를 지원하는 모든 클라이언트는 npx -y intercept-mcp를 실행할 수 있습니다.

fetch 도구 사용 시 API 키가 필요하지 않습니다.

작동 원리

URL은 세 단계로 처리됩니다:

1. 사이트별 핸들러

알려진 URL 패턴은 대체 파이프라인 이전에 전용 핸들러로 라우팅됩니다:

2. 대체 파이프라인

일치하는 핸들러가 없거나(또는 핸들러가 결과를 반환하지 않는 경우), URL은 다단계 파이프라인으로 진입합니다:

2단계 페처는 병렬로 실행됩니다. 둘 다 성공하면 더 높은 품질의 결과가 선택됩니다. 다른 모든 단계는 순차적으로 실행됩니다.

모든 페처는 일반 텍스트가 아닌 Turndown을 통해 적절한 마크다운(제목, 링크, 굵게, 표, 코드 블록)을 반환합니다.

3. 캐싱

결과는 메모리에 TTL(성공 시 30분, 실패 시 5분)과 함께 캐시됩니다. LRU 퇴거 정책을 사용하여 최대 100개 항목을 저장합니다. 실패한 URL도 캐시되어 알려진 죽은 URL에 대한 재시도를 방지합니다.

도구

fetch

URL을 가져와 콘텐츠를 깔끔한 마크다운으로 반환합니다.

• url (문자열, 필수) — 가져올 URL

• maxTier (숫자, 선택 사항, 1-5) — 속도가 중요한 경우 이 단계에서 중단

search

웹을 검색하고 결과를 반환합니다.

• query (문자열, 필수) — 검색어

• count (숫자, 선택 사항, 1-20, 기본값 5) — 결과 개수

BRAVE_API_KEY가 설정되어 있으면 Brave Search API를 사용하고, SEARXNG_URL이 설정되어 있으면 SearXNG를 사용하며, 마지막 수단으로 신뢰도가 낮은 DuckDuckGo를 사용합니다.

프롬프트

research-topic

주제를 검색하고 다중 소스 요약을 위해 상위 결과를 가져옵니다.

• topic (문자열) — 조사할 주제

• depth (문자열, 기본값 "3") — 가져올 상위 결과 개수

extract-article

URL을 가져와 콘텐츠에서 핵심 요점을 추출합니다.

• url (문자열) — 가져와서 요약할 URL

환경 변수

검색: DuckDuckGo 대체 기능이 있지만 속도 제한이 있고 신뢰할 수 없습니다. 프로덕션 환경에서는 SearXNG를 자체 호스팅하고 SEARXNG_URL을 설정하거나 Brave Search API 키를 받으세요.

Fetch: 키 없이도 작동합니다. JavaScript가 많은 페이지(SPA, React 사이트)를 위해 Cloudflare 브라우저 렌더링을 활성화하려면 CF_API_TOKEN + CF_ACCOUNT_ID를 설정하세요.

스텔스 fetch (USE_STEALTH_FETCH)

사용 시 위험은 사용자 본인의 책임입니다. 활성화하면 got-scraping을 사용하여 실제 브라우저 TLS 지문(Chrome/Firefox 암호화 제품군, HTTP/2 설정, 헤더 순서)을 위장하는 페처가 추가됩니다. 이를 통해 자동화된 요청을 차단하는 사이트의 봇 탐지 및 CAPTCHA를 우회할 수 있습니다.

이 페처는 일반 원시 fetch 이후 3단계에서 실행됩니다. 원시 fetch가 차단되면(CAPTCHA, Cloudflare 챌린지, 403), 스텔스 페처가 브라우저 위장을 통해 재시도합니다.

이는 일부 웹사이트의 서비스 약관을 위반할 수 있습니다. intercept-mcp의 작성자는 이 기능의 사용 방식에 대해 어떠한 책임도 지지 않습니다. 기본적으로 비활성화되어 있으며 명시적으로 선택해야 합니다.

SearXNG 자체 호스팅

안정적인 검색을 위해 Docker로 SearXNG를 자체 호스팅하세요. 설정 파일은 저장소에 포함되어 있습니다:

git clone https://github.com/bighippoman/intercept-mcp.git
cd intercept-mcp/searxng && docker compose up -d

그런 다음 SEARXNG_URL=http://localhost:8888로 설정하세요. 속도 제한이나 CAPTCHA 없이 Google + Bing + DuckDuckGo + Wikipedia + Brave를 통합합니다.

또는 기존 SearXNG 인스턴스를 사용해도 됩니다. SEARXNG_URL을 해당 URL로 설정하기만 하면 됩니다.

URL 정규화

들어오는 URL은 자동으로 정리됩니다:

• 60개 이상의 추적 매개변수(UTM, 클릭 ID, 분석, A/B 테스트 등) 제거

• 해시 조각 제거

• HTTPS로 업그레이드

• AMP 아티팩트 정리

• 기능적 매개변수(ref, format, page, offset, limit) 보존

콘텐츠 품질 감지

각 페처 결과는 품질 점수가 매겨집니다. 다음의 경우 자동으로 실패 처리됩니다:

• CAPTCHA / Cloudflare 챌린지

• 로그인 벽

• 본문의 HTTP 오류 페이지

• 200자 미만의 콘텐츠

요구 사항

• Node.js >= 18

• 기본 사용 시 API 키 불필요