🤖 Agente de automatización del navegador

Una potente herramienta de automatización de navegadores desarrollada con MCP (Programa Controlado por Modelos) que combina capacidades de web scraping con inteligencia basada en LLM. Este agente puede buscar en Google, navegar por páginas web y extraer contenido inteligentemente de diversos sitios web, como GitHub, Stack Overflow y sitios de documentación.

🚀 Características

• 🔍 Integración de búsqueda de Google : encuentra y recupera los principales resultados de búsqueda para cualquier consulta

• 🕸️ Raspado web inteligente : estrategias de raspado personalizadas para diferentes tipos de sitios web:

  • 📂 Repositorios de GitHub

  • Preguntas y respuestas de Stack Overflow

  • 📚 Páginas de documentación

  • 🌐 Sitios web genéricos

• Procesamiento impulsado por IA : utiliza Mistral AI para comprender y procesar contenido extraído

• 🥷 Modo sigiloso : implementa la protección de huellas dactilares del navegador para evitar la detección

• 💾 Guardado de contenido : guarda automáticamente tanto las capturas de pantalla como el contenido de texto de las páginas extraídas

Related MCP server: Crawl4AI RAG MCP Server

🏗️ Arquitectura

Este proyecto utiliza una arquitectura cliente-servidor impulsada por MCP:

• 🖥️ Servidor : maneja la automatización del navegador y las tareas de raspado web

• 👤 Cliente : Proporciona la interfaz de IA utilizando Mistral AI y LangGraph

• 📡 Comunicación : utiliza stdio para la comunicación cliente-servidor

⚙️ Requisitos

• 🐍 Python 3.8+

• 🎭 Dramaturgo

• 🧩 MCP (Programa Controlado por Modelo)

• Clave API de Mistral AI

📥 Instalación

1. Clonar el repositorio:

2. Instalar dependencias:

3. Instalar navegadores Playwright:

4. Cree un archivo .env en la raíz del proyecto y agregue su clave API de Mistral AI:

📋 Uso

Ejecución del servidor

Ejecución del cliente

Interacción de muestra

Una vez que tanto el servidor como el cliente estén en ejecución:

1. Ingrese su consulta cuando se le solicite

2. El agente se encargará de:

   • 🔍 Busca en Google resultados relevantes

   • 🧭 Navegar hasta el resultado superior

   • 📊 Extraer contenido según el tipo de sitio web

   • 📸 Guardar capturas de pantalla y contenido en archivos

   • 📤 Devolver información procesada

Funciones de la herramienta

get_top_google_url

🔍 Busca en Google y devuelve la URL del resultado principal para una consulta determinada.

browse_and_scrape

🌐 Navega a una URL y extrae contenido según el tipo de sitio web.

scrape_github

📂 Se especializa en extraer contenido README y bloques de código de los repositorios de GitHub.

scrape_stackoverflow

💬 Extrae preguntas, respuestas, comentarios y bloques de código de las páginas de Stack Overflow.

scrape_documentation

📚 Optimizado para extraer contenido de documentación y ejemplos de código.

scrape_generic

🌐 Extrae texto de párrafo y bloques de código de sitios web genéricos.

📁 Estructura de archivos

📤 Archivos de salida

El agente genera dos tipos de archivos de salida con marcas de tiempo:

• 📸 final_page_YYYYMMDD_HHMMSS.png : Captura de pantalla del estado final de la página

• 📄 scraped_content_YYYYMMDD_HHMMSS.txt : Contenido de texto extraído de la página

⚙️ Personalización

Puede modificar los siguientes parámetros en el código:

• 🖥️ Tamaño de la ventana del navegador: ajuste width y height en browse_and_scrape

• Modo sin cabeza: establezca headless=True para un funcionamiento invisible del navegador

• 🔢 Número de resultados de Google: Cambiar num_results en get_top_google_url

❓ Solución de problemas

• 🔌 Problemas de conexión : asegúrese de que tanto el servidor como el cliente se estén ejecutando en terminales separadas

• 🎭 Errores de Playwright : Asegúrese de que los navegadores tengan instalado el playwright install

• 🔑 Errores de clave API : Verifique que su clave API de Mistral esté configurada correctamente en el archivo .env

• 🛣️ Errores de ruta : actualice la ruta a main.py en client.py si es necesario

📜 Licencia

Licencia MIT

🤝 Contribuyendo

¡Agradecemos sus contribuciones! No dude en enviar una solicitud de incorporación de cambios.

Creado con 🧩 MCP, 🎭 Playwright y 🧠 Mistral AI