MCP de obtención de URL
Una implementación limpia del Protocolo de Contexto de Modelo (MCP) que permite a Claude o cualquier LLM obtener contenido de las URL.
Características
- Obtener contenido desde cualquier URL
- Soporte para múltiples tipos de contenido (HTML, JSON, texto, imágenes)
- Control sobre los parámetros de la solicitud (encabezados, tiempo de espera)
- Manejo limpio de errores
- Funciona con Claude Code y Claude Desktop
Estructura del repositorio
url-fetch-mcp/
├── examples/ # Example scripts and usage demos
├── scripts/ # Helper scripts (installation, etc.)
├── src/
│ └── url_fetch_mcp/ # Main package code
│ ├── __init__.py
│ ├── __main__.py
│ ├── cli.py # Command-line interface
│ ├── fetch.py # URL fetching utilities
│ ├── main.py # Core MCP server implementation
│ └── utils.py # Helper utilities
├── LICENSE
├── pyproject.toml # Project configuration
├── README.md
└── url_fetcher.py # Standalone launcher for Claude Desktop
Instalación
# Install from source
pip install -e .
# Install with development dependencies
pip install -e ".[dev]"
Uso
Ejecución del servidor
# Run with stdio transport (for Claude Code)
python -m url_fetch_mcp run
# Run with HTTP+SSE transport (for remote connections)
python -m url_fetch_mcp run --transport sse --port 8000
Instalación en Claude Desktop
Hay tres formas de instalar en Claude Desktop:
Método 1: Instalación directa
# Install the package
pip install -e .
# Install in Claude Desktop using the included script
mcp install url_fetcher.py -n "URL Fetcher"
El archivo url_fetcher.py contiene:
#!/usr/bin/env python
"""
URL Fetcher MCP Server
This is a standalone script for launching the URL Fetch MCP server.
It's used for installing in Claude Desktop with the command:
mcp install url_fetcher.py -n "URL Fetcher"
"""
from url_fetch_mcp.main import app
if __name__ == "__main__":
app.run()
Método 2: utilizar el script de instalación
# Install the package
pip install -e .
# Run the installer script
python scripts/install_desktop.py
El scripts/install_desktop.py :
#!/usr/bin/env python
import os
import sys
import tempfile
import subprocess
def install_desktop():
"""Install URL Fetch MCP in Claude Desktop."""
print("Installing URL Fetch MCP in Claude Desktop...")
# Create a temporary Python file that imports our module
temp_dir = tempfile.mkdtemp()
temp_file = os.path.join(temp_dir, "url_fetcher.py")
with open(temp_file, "w") as f:
f.write("""#!/usr/bin/env python
# URL Fetcher MCP Server
from url_fetch_mcp.main import app
if __name__ == "__main__":
app.run()
""")
# Make the file executable
os.chmod(temp_file, 0o755)
# Run the mcp install command with the file path
try:
cmd = ["mcp", "install", temp_file, "-n", "URL Fetcher"]
print(f"Running: {' '.join(cmd)}")
result = subprocess.run(cmd, check=True, text=True)
print("Installation successful!")
print("You can now use the URL Fetcher tool in Claude Desktop.")
return 0
except subprocess.CalledProcessError as e:
print(f"Error during installation: {str(e)}")
return 1
finally:
# Clean up temporary file
try:
os.unlink(temp_file)
os.rmdir(temp_dir)
except:
pass
if __name__ == "__main__":
sys.exit(install_desktop())
Método 3: utilizar el comando CLI
# Install the package
pip install -e .
# Install using the built-in CLI command
python -m url_fetch_mcp install-desktop
Implementación básica
La implementación principal de MCP está en src/url_fetch_mcp/main.py :
from typing import Annotated, Dict, Optional
import base64
import json
import httpx
from pydantic import AnyUrl, Field
from mcp.server.fastmcp import FastMCP, Context
# Create the MCP server
app = FastMCP(
name="URL Fetcher",
version="0.1.0",
description="A clean MCP implementation for fetching content from URLs",
)
@app.tool()
async def fetch_url(
url: Annotated[AnyUrl, Field(description="The URL to fetch")],
headers: Annotated[
Optional[Dict[str, str]], Field(description="Additional headers to send with the request")
] = None,
timeout: Annotated[int, Field(description="Request timeout in seconds")] = 10,
ctx: Context = None,
) -> str:
"""Fetch content from a URL and return it as text."""
# Implementation details...
@app.tool()
async def fetch_image(
url: Annotated[AnyUrl, Field(description="The URL to fetch the image from")],
timeout: Annotated[int, Field(description="Request timeout in seconds")] = 10,
ctx: Context = None,
) -> Dict:
"""Fetch an image from a URL and return it as an image."""
# Implementation details...
@app.tool()
async def fetch_json(
url: Annotated[AnyUrl, Field(description="The URL to fetch JSON from")],
headers: Annotated[
Optional[Dict[str, str]], Field(description="Additional headers to send with the request")
] = None,
timeout: Annotated[int, Field(description="Request timeout in seconds")] = 10,
ctx: Context = None,
) -> str:
"""Fetch JSON from a URL, parse it, and return it formatted."""
# Implementation details...
Capacidades de la herramienta
obtener_url
Obtiene contenido de una URL y lo devuelve como texto.
Parámetros:
url (obligatorio): La URL a buscarheaders (opcional): encabezados adicionales para enviar con la solicitudtimeout (opcional): tiempo de espera de la solicitud en segundos (predeterminado: 10)
obtener_imagen
Obtiene una imagen de una URL y la devuelve como una imagen.
Parámetros:
url (obligatorio): La URL desde donde obtener la imagentimeout (opcional): tiempo de espera de la solicitud en segundos (predeterminado: 10)
obtener_json
Obtiene JSON de una URL, lo analiza y lo devuelve formateado.
Parámetros:
url (obligatorio): La URL desde la cual obtener el JSONheaders (opcional): encabezados adicionales para enviar con la solicitudtimeout (opcional): tiempo de espera de la solicitud en segundos (predeterminado: 10)
Ejemplos
El directorio examples contiene scripts de ejemplo:
quick_test.py : Prueba rápida del servidor MCPsimple_usage.py : Ejemplo de uso de la API del clienteinteractive_client.py : CLI interactiva para pruebas
# Example of fetching a URL
result = await session.call_tool("fetch_url", {
"url": "https://example.com"
})
# Example of fetching JSON data
result = await session.call_tool("fetch_json", {
"url": "https://api.example.com/data",
"headers": {"Authorization": "Bearer token"}
})
# Example of fetching an image
result = await session.call_tool("fetch_image", {
"url": "https://example.com/image.jpg"
})
Pruebas
Para probar la funcionalidad básica:
# Run a direct test of URL fetching
python direct_test.py
# Run a simplified test with the MCP server
python examples/quick_test.py
Licencia
Instituto Tecnológico de Massachusetts (MIT)