KI-Dokumentenassistent

Ein KI-gestützter Dokumentenassistent, der mit RAG (Retrieval-Augmented Generation), FAISS, MCP (Model Context Protocol), Ollama und Streamlit erstellt wurde.

Laden Sie PDF-Dokumente hoch, stellen Sie Fragen zu deren Inhalt, generieren Sie Zusammenfassungen, extrahieren Sie Schlüsselwörter und beantworten Sie allgemeine Wissensfragen mithilfe der Wikipedia-Integration.

Funktionen

Fragenbeantwortung zu Dokumenten

• Stellen Sie Fragen zu hochgeladenen PDF-Dokumenten.

• Ruft relevante Dokumentabschnitte mithilfe der FAISS-Vektorsuche ab.

• Generiert natürliche Sprachantworten mit Ollama.

Dokumentenzusammenfassung

• Generieren Sie prägnante Zusammenfassungen hochgeladener Dokumente.

Schlüsselwortextraktion

• Extrahieren Sie wichtige Schlüsselwörter und Themen aus Dokumenten.

Allgemeine Wissensfragen

• Wikipedia-Integration für Fragen außerhalb des hochgeladenen Dokuments.

MCP-Integration

• Stellt Tools über MCP bereit.

• Ermöglicht Tool-Erkennung und -Ausführung über MCP-Clients.

Unterstützung für PDF-Upload

• Laden Sie PDF-Dateien direkt über die Streamlit-Oberfläche hoch.

• Erstellt automatisch Embeddings und indiziert Dokumente für die Abfrage.

Streamlit-Oberfläche

• Einfache und benutzerfreundliche Chat-Oberfläche.

• Laden Sie PDFs hoch und interagieren Sie in Echtzeit mit Dokumenten.

Related MCP server: MinerU Document Explorer

Architektur

PDF
 │
 ▼
PDF Loader
 │
 ▼
Text Chunking
 │
 ▼
Embeddings
 │
 ▼
FAISS Vector Store
 │
 ▼
Retrieval
 │
 ▼
LLM (Ollama)
 │
 ▼
Answer Generation

Technologie-Stack

Backend

• Python

LLM

• Ollama

• Qwen 2.5 Coder 7B

Vektordatenbank

• FAISS

Embeddings

• Sentence Transformers

Protokoll

• MCP (Model Context Protocol)

Frontend

• Streamlit

Externes Wissen

• Wikipedia API

Projektstruktur

AI-Document-Assistant/
│
├── datas/
│
├── src/
│   ├── pdf_loader.py
│   ├── chunker.py
│   ├── embeddings.py
│   ├── vector_store.py
│   └── rag_store.py
│
├── tools/
│   ├── search_tool.py
│   ├── summary_tool.py
│   ├── keyword_tool.py
│   ├── qa_tool.py
│   └── wiki_tool.py
│
├── app.py
├── agent.py
├── build_rag.py
├── mcp_client.py
├── mcp_server.py
├── requirements.txt
├── README.md
└── .gitignore

Installation

Repository klonen

git clone https://github.com/yourusername/AI-Document-Assistant.git

cd AI-Document-Assistant

Virtuelle Umgebung erstellen

python -m venv .venv

Umgebung aktivieren

Windows:

.venv\Scripts\activate

Linux/macOS:

source .venv/bin/activate

Abhängigkeiten installieren

pip install -r requirements.txt

Ollama installieren

Laden Sie Ollama herunter und installieren Sie es:

https://ollama.com

Ziehen Sie das Modell:

ollama pull qwen2.5-coder:7b

Starten Sie Ollama:

ollama serve

Anwendung ausführen

streamlit run app.py

Öffnen Sie:

http://localhost:8501

So funktioniert es

Dokumentfragen

Beispiel:

What is MySQL Workbench?

Der Assistent:

1. Durchsucht relevante Dokumentabschnitte.

2. Ruft passenden Kontext mithilfe von FAISS ab.

3. Sendet den Kontext an Ollama.

4. Generiert eine endgültige Antwort.

Allgemeine Wissensfragen

Beispiel:

Who is Elon Musk?

Der Assistent:

1. Erkennt, dass die Frage nicht dokumentspezifisch ist.

2. Verwendet Wikipedia.

3. Gibt eine prägnante Antwort zurück.

MCP-Tools

Verfügbare MCP-Tools:

document_search

Durchsucht relevante Dokumentabschnitte.

document_summary

Generiert Dokumentzusammenfassungen.

document_keywords

Extrahiert wichtige Schlüsselwörter.

ask_document

Fragenbeantwortung über hochgeladene Dokumente.

wiki_search

Allgemeine Wissensabfrage mithilfe von Wikipedia.

Zukünftige Verbesserungen

• Multi-PDF-Unterstützung

• Chatverlaufsspeicher

• Gesprächskontext

• Quellenangaben

• Hybride Suche (BM25 + Vektorsuche)

• Persistente Vektordatenbank

• Docker-Bereitstellung

• Authentifizierung und Benutzerverwaltung

Autor

Yadu