Scraper.is MCP Server

remote-capable server

The server can be hosted and run remotely because it primarily relies on remote services or has no dependency on the local environment.

Integrations

  • Allows scraping and extracting structured data from Amazon's product listings, including filtering by price and star ratings

  • Enables extracting article titles, authors, and content from TechCrunch's website and specific category pages

  • Facilitates collection of user reviews from company pages on Trustpilot, with ability to navigate through multiple pages

Scraper.is MCP

Una integración del Protocolo de Contexto de Modelo (MCP) para Scraper.is : una poderosa herramienta de raspado web para asistentes de IA.

Este paquete permite a los asistentes de IA extraer contenido web a través del protocolo MCP, lo que les permite acceder a información actualizada de la web.

Características

  • 🌐 Web Scraping : Extrae contenido de cualquier sitio web
  • 📸 Capturas de pantalla : captura representaciones visuales de páginas web
  • 📄 Múltiples formatos : Obtenga contenido en formato Markdown, HTML o JSON
  • 🔄 Actualizaciones de progreso : informes de progreso en tiempo real durante las operaciones de raspado
  • 🔌 Integración con MCP : Integración perfecta con asistentes de IA compatibles con MCP

Instalación

npm install -g scraperis-mcp

O con hilo:

yarn global add scraperis-mcp

Prerrequisitos

Necesita una clave API Scraper.is para usar este paquete.

Obtener su clave API

  1. Regístrate o inicia sesión en scraper.is
  2. Vaya a la sección Claves API en su panel de control: https://www.scraper.is/dashboard/apikeys
  3. Cree una nueva clave API o copie su clave existente
  4. Guarde esta clave de forma segura, ya que la necesitará para usar este paquete.

Uso

Configuración del entorno

Crea un archivo .env con tu clave API de Scraper.is:

SCRAPERIS_API_KEY=your_api_key_here

Integración de escritorio de Claude

Para utilizar este paquete con Claude Desktop:

  1. Instalar el paquete globalmente:
    npm install -g scraperis-mcp
  2. Agregue la siguiente configuración a su archivo claude_desktop_config.json :
    { "mcpServers": { "scraperis_scraper": { "command": "scraperis-mcp", "args": [], "env": { "SCRAPERIS_API_KEY": "your-api-key-here", "DEBUG": "*" } } } }
  3. Reemplace your-api-key-here con su clave API de Scraper.is real.
  4. Reinicie Claude Desktop para aplicar los cambios.

Ejecutando con MCP Inspector

Para el desarrollo y las pruebas, puede utilizar el Inspector MCP:

npx @modelcontextprotocol/inspector scraperis-mcp

Integración con asistentes de IA

Este paquete está diseñado para usarse con asistentes de IA compatibles con el Protocolo de Contexto de Modelo (MCP). Una vez configurado correctamente, el asistente de IA puede usar las siguientes herramientas:

Herramienta de raspado

La herramienta scrape permite a la IA extraer contenido de sitios web. Admite varios formatos:

  • markdown : Devuelve el contenido en formato markdown
  • html : Devuelve el contenido en formato HTML
  • screenshot : Devuelve una captura de pantalla de la página web
  • json : Devuelve datos estructurados en formato JSON

Ejemplo de mensaje para la IA:

Can you scrape the latest news from techcrunch.com and summarize it for me?

Referencia de API

Herramientas

raspar

Extrae contenido de una página web basándose en una solicitud.

Parámetros:

  • prompt (cadena): El mensaje que describe qué raspar, incluida la URL
  • format (cadena): el formato en el que se devolverá el contenido ( markdown , html , screenshot , json , quick )

Ejemplo:

{ "prompt": "Get me the top 10 products from producthunt.com", "format": "markdown" }

Desarrollo

Configuración

  1. Clonar el repositorio:
    git clone https://github.com/Ai-Quill/scraperis-mcp.git cd scraperis-mcp
  2. Instalar dependencias:
    npm install
  3. Construir el proyecto:
    npm run build

Guiones

  • npm run build : Construye el proyecto
  • npm run watch : vigila los cambios y reconstruye
  • npm run dev : Ejecutar con MCP Inspector para desarrollo
  • npm run test : Ejecutar pruebas
  • npm run lint : Ejecutar ESLint

Contribuyendo

¡Agradecemos sus contribuciones! No dude en enviar una solicitud de incorporación de cambios.

Licencia

Este proyecto está licenciado bajo la licencia MIT: consulte el archivo de LICENCIA para obtener más detalles.

Expresiones de gratitud

You must be authenticated.

A
security – no known vulnerabilities
A
license - permissive license
A
quality - confirmed to work

Permite extraer datos de sitios web mediante indicaciones en lenguaje natural, lo que permite a los usuarios especificar exactamente qué contenido desean en inglés simple y devolver datos JSON estructurados.

  1. Features
    1. Installation
      1. Prerequisites
        1. Getting Your API Key
      2. Usage
        1. Environment Setup
        2. Claude Desktop Integration
        3. Running with MCP Inspector
        4. Integration with AI Assistants
      3. API Reference
        1. Tools
      4. Development
        1. Setup
        2. Scripts
      5. Contributing
        1. License
          1. Acknowledgements
            ID: gnbnl8d941