🇵🇱 Polska wersja

RAG-Pipeline

Eine lokale, GPU-beschleunigte Retrieval-Pipeline für Forschungspapiere – parst PDFs mit layoutbewusstem Chunking, zieht echte bibliografische Metadaten (DOI → CrossRef), embeddet mit hybriden dichten + spärlichen Vektoren und speichert alles in Qdrant für hybride Suche mit Reranking. Entwickelt, um direkt von Claude über einen MCP-Server abgefragt zu werden.

Warum

Papiere in einen Ordner zu legen macht sie für die Suche unsichtbar. Das verwandelt einen Stapel PDFs in etwas Abfragbares: saubere Abschnitts-/Absatz-bewusste Chunks (kein naiver Zeichen-Splitter), zitierfertige Metadaten, die automatisch von CrossRef geholt werden, und hybride dichte+spärliche Retrieval, sodass sowohl semantische als auch exakte Begriffssuchen funktionieren – alles als MCP-Tools exponiert, damit Claude Papiere direkt durchsuchen und aufnehmen kann.

Related MCP server: Personal Research Assistant MCP

Funktionen

• Layoutbewusstes PDF-Parsing über Docling – chunked nach Absatz/Abschnitt statt mit einem naiven Zeichen-Splitter, behält Seitennummern und Abschnittsüberschriften pro Chunk.

• Echte bibliografische Metadaten – extrahiert per Regex eine DOI von Seite 1, löst vollständige Zitationsdaten (Titel, Autoren, Zeitschrift, Jahr, Band/Ausgabe/Seiten) über die CrossRef-API auf, fällt auf die eigenen PDF-Metadaten zurück, wenn keine DOI gefunden wird.

• Hybride Embeddings – dichte (BAAI/bge-m3) + spärliche (SPLADE, prithvida/Splade_PP_EN_v1) Vektoren pro Chunk, gemeinsam in Qdrant für hybride Retrieval gespeichert.

• Hintergrund-Ingestion – ein Redis + RQ-Worker, damit große PDFs keine Anfrage blockieren; GPU-fähiger Docker-Container für Embedding.

• MCP-Server, der Claude zwei Tools exponiert – search_papers (hybride Suche mit Reranking) und ingest_paper (ein PDF direkt in den Index werfen) – gedacht als Forschungs-Papier-Gedächtnis, das Claude direkt abfragen kann.

• Dockerisiert – Qdrant + Redis + GPU-fähige API/Worker-Container über docker-compose.

Tech-Stack

Python · Docling (PDF-Parsing) · sentence-transformers (BGE-M3 dichte Embeddings) · fastembed (SPLADE spärliche Embeddings) · Qdrant (hybride Vektorsuche) · Redis + RQ (Hintergrund-Job-Warteschlange) · FastAPI (geplante API-Schicht) · MCP (Model Context Protocol-Server für Claude) · Docker Compose, CUDA 12.9 GPU-Container.

Status

In Arbeit – noch nicht vollständig Ende-zu-Ende verdrahtet.

Funktioniert heute: ingest.py läuft eigenständig von der CLI – ein PDF parsen, seine Metadaten ziehen, embedden (dicht + spärlich) und in Qdrant upserten. Auf eine laufende Qdrant-Instanz zeigen und es funktioniert.

Fehlt: main.py, der FastAPI-Dienst, der /search, /ingest und /health exponieren soll – das Dockerfile kopiert ihn, der Docker-Compose-Healthcheck pingt ihn an, der RQ-Worker erwartet, dass etwas Jobs für ihn einreiht, und die beiden Claude-Tools von mcp_server.py rufen ihn beide über HTTP unter localhost:8000 auf. Ohne ihn hat der Worker nichts zu konsumieren, die MCP-Tools haben kein Backend, mit dem sie sprechen können, und docker-compose up wird nicht bauen (der Build-Schritt des API/Worker-Images kopiert eine Datei, die nicht existiert).

Die Bind-Mounts in der docker-compose.yml zeigen außerdem noch auf einen Windows-Pfad (S:\RAG-data\...) aus einem früheren Setup – passe diese an, wo auch immer Qdrant/Redis/Modell-Cache-Daten leben sollen, bevor du es ausführst.

Ausführen (heute)

uv sync

# Qdrant needs to be running somewhere ingest.py can reach:
docker run -p 6333:6333 qdrant/qdrant

python ingest.py path/to/paper.pdf

Die vollständige Pipeline (Docker-Compose-Stack, /search- und /ingest-API, MCP-Tools) wird funktionieren, sobald main.py existiert.