🤖 Browser-Automatisierungsagent

Ein leistungsstarkes Browser-Automatisierungstool mit MCP (Model Controlled Program), das Web-Scraping-Funktionen mit LLM-gestützter Intelligenz kombiniert. Dieser Agent kann Google durchsuchen, Webseiten aufrufen und Inhalte von verschiedenen Websites wie GitHub, Stack Overflow und Dokumentationsseiten intelligent extrahieren.

🚀 Funktionen

• 🔍 Google-Suchintegration : Findet und ruft die besten Suchergebnisse für jede Abfrage ab

• 🕸️ Intelligentes Web Scraping : Maßgeschneiderte Scraping-Strategien für verschiedene Website-Typen:

  • 📂 GitHub-Repositorys

  • 💬 Fragen und Antworten zu Stack Overflow

  • 📚 Dokumentationsseiten

  • 🌐 Generische Websites

• 🧠 KI-gestützte Verarbeitung : Verwendet Mistral AI zum Verstehen und Verarbeiten von Scraped-Inhalten

• 🥷 Stealth-Modus : Implementiert den Browser-Fingerabdruckschutz, um eine Erkennung zu vermeiden

• 💾 Inhaltsspeicherung : Speichert automatisch sowohl Screenshots als auch Textinhalte von Scraped-Seiten

Related MCP server: URL Text Fetcher MCP Server

🏗️ Architektur

Dieses Projekt verwendet eine Client-Server-Architektur, die von MCP unterstützt wird:

• 🖥️ Server : Bewältigt Browserautomatisierung und Web-Scraping-Aufgaben

• 👤 Client : Stellt die KI-Schnittstelle mit Mistral AI und LangGraph bereit

• 📡 Kommunikation : Verwendet stdio für die Client-Server-Kommunikation

⚙️ Voraussetzungen

• 🐍 Python 3.8+

• 🎭 Dramatiker

• 🧩 MCP (Modellgesteuertes Programm)

• 🔑 Mistral AI API-Schlüssel

📥 Installation

1. Klonen Sie das Repository:

2. Installieren Sie Abhängigkeiten:

3. Installieren Sie Playwright-Browser:

4. Erstellen Sie eine .env Datei im Projektstammverzeichnis und fügen Sie Ihren Mistral AI-API-Schlüssel hinzu:

📋 Verwendung

Ausführen des Servers

Ausführen des Clients

Beispielinteraktion

Sobald sowohl der Server als auch der Client ausgeführt werden:

1. Geben Sie Ihre Abfrage ein, wenn Sie dazu aufgefordert werden

2. Der Agent wird:

   • 🔍 Suchen Sie bei Google nach relevanten Ergebnissen

   • 🧭 Navigieren Sie zum Top-Ergebnis

   • 📊 Scrapen Sie Inhalte basierend auf dem Website-Typ

   • 📸 Screenshots und Inhalte in Dateien speichern

   • 📤 Verarbeitete Informationen zurückgeben

🛠️ Werkzeugfunktionen

get_top_google_url

🔍 Durchsucht Google und gibt die URL mit dem höchsten Ergebnis für eine bestimmte Abfrage zurück.

browse_and_scrape

🌐 Navigiert zu einer URL und kratzt Inhalte basierend auf dem Websitetyp.

scrape_github

📂 Spezialisiert auf das Extrahieren von README-Inhalten und Codeblöcken aus GitHub-Repositorys.

scrape_stackoverflow

💬 Extrahiert Fragen, Antworten, Kommentare und Codeblöcke von Stack Overflow-Seiten.

scrape_documentation

📚 Optimiert für das Extrahieren von Dokumentationsinhalten und Codebeispielen.

scrape_generic

🌐 Extrahiert Absatztext und Codeblöcke von generischen Websites.

📁 Dateistruktur

📤 Ausgabedateien

Der Agent generiert zwei Arten von Ausgabedateien mit Zeitstempeln:

• 📸 final_page_YYYYMMDD_HHMMSS.png : Screenshot des endgültigen Seitenstatus

• 📄 scraped_content_YYYYMMDD_HHMMSS.txt : Extrahierter Textinhalt von der Seite

⚙️ Anpassung

Sie können die folgenden Parameter im Code ändern:

• 🖥️ Browserfenstergröße: Passen Sie width und height in browse_and_scrape

• 👻 Headless-Modus: Setzen Sie headless=True für unsichtbaren Browserbetrieb

• 🔢 Anzahl der Google-Ergebnisse: Ändern Sie num_results in get_top_google_url

❓ Fehlerbehebung

• 🔌 Verbindungsprobleme : Stellen Sie sicher, dass Server und Client in separaten Terminals ausgeführt werden

• 🎭 Playwright-Fehler : Stellen Sie sicher, dass Browser mit playwright install installiert sind

• 🔑 API-Schlüsselfehler : Überprüfen Sie, ob Ihr Mistral-API-Schlüssel in der .env Datei korrekt festgelegt ist

• 🛣️ Pfadfehler : Aktualisieren Sie bei Bedarf den Pfad zu main.py in client.py

📜 Lizenz

MIT-Lizenz

🤝 Beitragen

Beiträge sind willkommen! Senden Sie gerne einen Pull Request.

Erstellt mit 🧩 MCP, 🎭 Playwright und 🧠 Mistral AI