Servidor MCP de automatización del navegador

🤖 Agente de automatización del navegador

Una potente herramienta de automatización de navegadores desarrollada con MCP (Programa Controlado por Modelos) que combina capacidades de web scraping con inteligencia basada en LLM. Este agente puede buscar en Google, navegar por páginas web y extraer contenido inteligentemente de diversos sitios web, como GitHub, Stack Overflow y sitios de documentación.

🚀 Características

🔍 Integración de búsqueda de Google : encuentra y recupera los principales resultados de búsqueda para cualquier consulta
🕸️ Raspado web inteligente : estrategias de raspado personalizadas para diferentes tipos de sitios web:
- 📂 Repositorios de GitHub
- Preguntas y respuestas de Stack Overflow
- 📚 Páginas de documentación
- 🌐 Sitios web genéricos
Procesamiento impulsado por IA : utiliza Mistral AI para comprender y procesar contenido extraído
🥷 Modo sigiloso : implementa la protección de huellas dactilares del navegador para evitar la detección
💾 Guardado de contenido : guarda automáticamente tanto las capturas de pantalla como el contenido de texto de las páginas extraídas

🏗️ Arquitectura

Este proyecto utiliza una arquitectura cliente-servidor impulsada por MCP:

🖥️ Servidor : maneja la automatización del navegador y las tareas de raspado web
👤 Cliente : Proporciona la interfaz de IA utilizando Mistral AI y LangGraph
📡 Comunicación : utiliza stdio para la comunicación cliente-servidor

⚙️ Requisitos

🐍 Python 3.8+
🎭 Dramaturgo
🧩 MCP (Programa Controlado por Modelo)
Clave API de Mistral AI

📥 Instalación

Clonar el repositorio:

git clone https://github.com/yourusername/browser-automation-agent.git
cd browser-automation-agent

Instalar dependencias:

pip install -r requirements.txt

Instalar navegadores Playwright:

playwright install

Cree un archivo .env en la raíz del proyecto y agregue su clave API de Mistral AI:

MISTRAL_API_KEY=your_api_key_here

📋 Uso

Ejecución del servidor

python main.py

Ejecución del cliente

python client.py

Interacción de muestra

Una vez que tanto el servidor como el cliente estén en ejecución:

Ingrese su consulta cuando se le solicite
El agente se encargará de:
- 🔍 Busca en Google resultados relevantes
- 🧭 Navegar hasta el resultado superior
- 📊 Extraer contenido según el tipo de sitio web
- 📸 Guardar capturas de pantalla y contenido en archivos
- 📤 Devolver información procesada

Funciones de la herramienta

`get_top_google_url`

🔍 Busca en Google y devuelve la URL del resultado principal para una consulta determinada.

`browse_and_scrape`

🌐 Navega a una URL y extrae contenido según el tipo de sitio web.

`scrape_github`

📂 Se especializa en extraer contenido README y bloques de código de los repositorios de GitHub.

`scrape_stackoverflow`

💬 Extrae preguntas, respuestas, comentarios y bloques de código de las páginas de Stack Overflow.

`scrape_documentation`

📚 Optimizado para extraer contenido de documentación y ejemplos de código.

`scrape_generic`

🌐 Extrae texto de párrafo y bloques de código de sitios web genéricos.

📁 Estructura de archivos

browser-automation-agent/
├── main.py            # MCP server implementation
├── client.py          # Mistral AI client implementation
├── requirements.txt   # Project dependencies
├── .env               # Environment variables (API keys)
└── README.md          # Project documentation

📤 Archivos de salida

El agente genera dos tipos de archivos de salida con marcas de tiempo:

📸 final_page_YYYYMMDD_HHMMSS.png : Captura de pantalla del estado final de la página
📄 scraped_content_YYYYMMDD_HHMMSS.txt : Contenido de texto extraído de la página

⚙️ Personalización

Puede modificar los siguientes parámetros en el código:

🖥️ Tamaño de la ventana del navegador: ajuste width y height en browse_and_scrape
Modo sin cabeza: establezca headless=True para un funcionamiento invisible del navegador
🔢 Número de resultados de Google: Cambiar num_results en get_top_google_url

❓ Solución de problemas

🔌 Problemas de conexión : asegúrese de que tanto el servidor como el cliente se estén ejecutando en terminales separadas
🎭 Errores de Playwright : Asegúrese de que los navegadores tengan instalado el playwright install
🔑 Errores de clave API : Verifique que su clave API de Mistral esté configurada correctamente en el archivo .env
🛣️ Errores de ruta : actualice la ruta a main.py en client.py si es necesario

📜 Licencia

Licencia MIT

🤝 Contribuyendo

¡Agradecemos sus contribuciones! No dude en enviar una solicitud de incorporación de cambios.

Creado con 🧩 MCP, 🎭 Playwright y 🧠 Mistral AI

Browser Automation MCP Server

Integrations