intercept-mcp

Dale a tu IA la capacidad de leer la web. Un comando, sin necesidad de claves API.

Sin esto, tu IA accede a una URL y obtiene un 403, un muro o una pared de HTML sin procesar. Con intercept, casi siempre obtiene el contenido: markdown limpio, listo para usar.

Maneja tweets, videos de YouTube (con transcripciones cuando están disponibles), artículos de arXiv, PDFs, artículos de Wikipedia y repositorios de GitHub. Si la primera estrategia falla, intenta hasta 14 más antes de rendirse.

Funciona con cualquier cliente MCP: Claude Code, Claude Desktop, Codex, Cursor, Windsurf, Cline y más.

Instalación

Claude Code

claude mcp add intercept -s user -- npx -y intercept-mcp

Codex

codex mcp add intercept -- npx -y intercept-mcp

Cursor

Settings → MCP → Add Server:

{
  "mcpServers": {
    "intercept": {
      "command": "npx",
      "args": ["-y", "intercept-mcp"]
    }
  }
}

Windsurf

Settings → MCP → Add Server → misma configuración JSON que la anterior.

Claude Desktop

Añadir a tu claude_desktop_config.json:

{
  "mcpServers": {
    "intercept": {
      "command": "npx",
      "args": ["-y", "intercept-mcp"]
    }
  }
}

Otros clientes MCP

Cualquier cliente que soporte servidores MCP stdio puede ejecutar npx -y intercept-mcp.

No se necesitan claves API para la herramienta fetch.

Related MCP server: urltomarkdown-mcp

Cómo funciona

Las URLs se procesan en cuatro etapas:

1. Manejadores específicos del sitio

Los patrones de URL conocidos se dirigen a manejadores dedicados antes de la tubería de respaldo:

2. Caché compartida (agentsweb.org)

Antes de llegar a cualquier buscador, cada solicitud verifica agentsweb.org, una caché global compartida de markdown para agentes de IA. Si otro agente ya obtuvo esta URL, obtienes el resultado en menos de 50ms.

Cada obtención exitosa contribuye automáticamente. Las entradas ganan confianza a través de un modelo de consenso de autocuración: cuando instancias independientes obtienen la misma URL y confirman el mismo contenido, la confianza aumenta.

Desactívalo por completo con INTERCEPT_SHARED_CACHE=false, o usa el modo de solo lectura (consumir pero nunca contribuir) con INTERCEPT_CACHE_READ_ONLY=true.

API de agentsweb.org

agentsweb.org también expone puntos finales independientes para uso directo:

• /web?q= — buscar en la web

• /research?q= — buscar + obtener + almacenar en caché en una sola llamada

• /fetch?url= — obtener bajo demanda, auto-almacenado en caché

Consulta agentsweb.org/docs para la documentación completa de la API.

3. Tubería de respaldo

Si ningún manejador coincide (o el manejador no devuelve nada), la URL entra en la tubería de múltiples niveles:

Los buscadores de nivel 2 se ejecutan en paralelo. Cuando varios tienen éxito, gana el resultado de mayor calidad. Todos los demás niveles se ejecutan secuencialmente.

Todos los buscadores devuelven Markdown adecuado (encabezados, enlaces, negritas, tablas, bloques de código) vía Turndown, no texto plano.

4. Almacenamiento en caché

Los resultados se almacenan en memoria con TTL (30 min para éxitos, 5 min para fallos). Máximo 100 entradas con desalojo LRU. Las URLs fallidas se almacenan en caché para evitar reintentar URLs conocidas como muertas.

Herramientas

fetch

Obtén una URL y devuelve su contenido como markdown limpio.

• url (cadena, requerido) — URL a obtener

• maxTier (número, opcional, 1-5) — Detenerse en este nivel para casos sensibles a la velocidad

search

Busca en la web y devuelve resultados.

• query (cadena, requerido) — Consulta de búsqueda

• count (número, opcional, 1-20, predeterminado 5) — Número de resultados

Utiliza la API de Brave Search si BRAVE_API_KEY está configurado, luego SearXNG si SEARXNG_URL está configurado, y luego DuckDuckGo como último recurso poco fiable.

Prompts

research-topic

Busca un tema y obtén los mejores resultados para un resumen de múltiples fuentes.

• topic (cadena) — El tema a investigar

• depth (cadena, predeterminado "3") — Número de mejores resultados a obtener

extract-article

Obtén una URL y extrae los puntos clave del contenido.

• url (cadena) — La URL a obtener y resumir

Variables de entorno

Búsqueda: Tiene un respaldo de DuckDuckGo pero está limitado en tasa y no es fiable. Para uso en producción, autohospeda SearXNG y configura SEARXNG_URL (ver abajo), u obtén una clave de API de Brave Search.

Obtención: Funciona sin claves. Configura CF_API_TOKEN + CF_ACCOUNT_ID para habilitar Cloudflare Browser Run (anteriormente Browser Rendering) para páginas con mucho JavaScript (SPAs, sitios React).

Obtención sigilosa (USE_STEALTH_FETCH)

Úsalo bajo tu propio riesgo. Cuando está habilitado, esto añade un buscador que suplanta huellas digitales TLS reales del navegador (conjuntos de cifrado de Chrome/Firefox, configuraciones HTTP/2, orden de encabezados) usando got-scraping. Esto puede evitar la detección de bots y disparadores de CAPTCHA en sitios que de otro modo bloquearían solicitudes automatizadas.

Este buscador se ejecuta en el nivel 3 después de la obtención cruda regular. Si la obtención cruda es bloqueada (CAPTCHA, desafío de Cloudflare, 403), el buscador sigiloso reintenta con suplantación de navegador.

Esto puede violar los términos de servicio de algunos sitios web. Los autores de intercept-mcp no asumen ninguna responsabilidad por cómo se utiliza esta función. Está deshabilitada por defecto y debe ser activada explícitamente.

Trae tu propio proxy (HTTPS_PROXY)

Si las obtenciones crudas comienzan a ser marcadas, la solución más efectiva suele ser una IP saliente limpia, no una huella digital más sofisticada. intercept-mcp respeta las variables de entorno estándar HTTPS_PROXY / HTTP_PROXY / NO_PROXY, por lo que puedes enrutar todo el tráfico saliente a través de cualquier proxy que ya tengas:

HTTPS_PROXY=http://user:pass@proxy.example.com:8080 npx intercept-mcp

Esto funciona con cualquier proxy HTTP(S): un Squid autohospedado, un nodo de salida Tailscale, un VPS de $5 ejecutando 3proxy, o proxies residenciales comerciales (Bright Data, Oxylabs, etc.). El buscador sigiloso y las llamadas a got-scraping también recogen esto automáticamente.

Autohospedaje de SearXNG

Para una búsqueda fiable, autohospeda SearXNG con Docker. Se incluye una configuración en el repositorio:

git clone https://github.com/bighippoman/intercept-mcp.git
cd intercept-mcp/searxng && docker compose up -d

Luego configura SEARXNG_URL=http://localhost:8888. Sin límites de tasa, sin CAPTCHAs, agrega Google + Bing + DuckDuckGo + Wikipedia + Brave.

O usa cualquier instancia de SearXNG existente: simplemente configura SEARXNG_URL a su URL.

Normalización de URL

Las URLs entrantes se limpian automáticamente:

• Elimina más de 60 parámetros de seguimiento (UTM, IDs de clic, analíticas, pruebas A/B, etc.)

• Elimina fragmentos de hash

• Actualiza a HTTPS

• Limpia artefactos AMP

• Conserva parámetros funcionales (ref, format, page, offset, limit)

Detección de calidad de contenido

Cada resultado del buscador se califica por calidad. Fallo automático en:

• Desafíos de CAPTCHA / Cloudflare

• Muros de inicio de sesión

• Páginas de error HTTP en el cuerpo

• Contenido de menos de 200 caracteres

Requisitos

• Node.js >= 18

• No se requieren claves API para uso básico