Descargador de sitios web de MCP

Servidor MCP simple para descargar sitios web de documentación y prepararlos para la indexación RAG.

Características

Descarga sitios de documentación completos, bueno, grandes porciones de todos modos.
Mantiene la estructura del enlace y la navegación, en realidad no. jajaja
Descarga y organiza activos (CSS, JS, imágenes), pero no es realmente compatible con IA y probablemente todo necesite algún tipo de análisis o vectorización en una base de datos o algo así.
Crea un índice limpio para sistemas RAG, actualmente parece crear un índice en cada carpeta, ni siquiera lo he mirado.
Interfaz MCP simple y de un solo propósito, sí.

Related MCP server: Website Downloader

Instalación

Bifurcar y descargar, cd al repositorio.

uv venv ./venv/Scripts/activate pip install -e .

Coloque esto en su claude_desktop_config.json con sus propias rutas:

"mcp-windows-website-downloader": { "command": "uv", "args": [ "--directory", "F:/GithubRepos/mcp-windows-website-downloader", "run", "mcp-windows-website-downloader", "--library", "F:/GithubRepos/mcp-windows-website-downloader/website_library" ] },

texto alternativo

Otros usos por los que no tienes que preocuparte y que pueden resultar alucinantes, jajaja:

Iniciar el servidor:

python -m mcp_windows_website_downloader.server --library docs_library

Úselo a través de Claude Desktop u otros clientes MCP:

result = await server.call_tool("download", { "url": "https://docs.example.com" })

Estructura de salida

docs_library/ domain_name/ index.html about.html docs/ getting-started.html ... assets/ css/ js/ images/ fonts/ rag_index.json

Desarrollo

El servidor sigue la arquitectura MCP estándar:

src/ mcp_windows_website_downloader/ __init__.py server.py # MCP server implementation core.py # Core downloader functionality utils.py # Helper utilities

Componentes

server.py : Implementación del servidor MCP principal que maneja el registro y las solicitudes de herramientas
core.py : Funcionalidad de descarga del sitio web principal con manejo adecuado de activos
utils.py : utilidades auxiliares para el manejo de archivos y el procesamiento de URL

Principios de diseño

Responsabilidad única
- Cada módulo tiene un propósito claro
- El servidor maneja la interfaz MCP
- El núcleo gestiona la descarga
- Utils maneja operaciones comunes
Estructura limpia
- Mantiene la estructura original del sitio.
- Organiza los activos por tipo
- Crea un índice claro para los sistemas RAG
Operación robusta
- Manejo adecuado de errores
- Límites de profundidad razonables
- Verificación de descarga de activos
- Procesamiento limpio de URL/ruta