RAG Pipeline

Локальный конвейер извлечения с GPU-ускорением для научных статей — разбирает PDF с учетом структуры layout, получает реальные библиографические метаданные (DOI → CrossRef), создает гибридные dense + sparse эмбеддинги и хранит всё в Qdrant для гибридного поиска с реранкингом. Создан для запросов напрямую из Claude через MCP-сервер.

Зачем

Если просто складывать PDF в папку, они невидимы для поиска. Этот проект превращает кучу PDF во что-то доступное для запросов: правильные чанки с учетом разделов/абзацев (а не наивное разбиение по символам), готовые к цитированию метаданные, автоматически подтянутые из CrossRef, и гибридный dense+sparse поиск, чтобы работали и семантические запросы, и точное совпадение терминов — всё это доступно как MCP-инструменты, так что Claude может напрямую искать и загружать статьи.

Related MCP server: Personal Research Assistant MCP

Возможности

• Разбор PDF с учетом layout через Docling — разбиение на чанки по абзацам/разделам вместо наивного деления по символам; для каждого чанка сохраняются номера страниц и заголовки разделов.

• Настоящие библиографические метаданные — DOI извлекается с первой страницы с помощью регулярных выражений, полные данные цитирования (название, авторы, журнал, год, том/выпуск/страницы) получаются через CrossRef API; если DOI не найден, используются метаданные самого PDF.

• Гибридные эмбеддинги — dense (BAAI/bge-m3) + sparse (SPLADE, prithvida/Splade_PP_EN_v1) векторы для каждого чанка, хранятся вместе в Qdrant для гибридного поиска.

• Фоновая загрузка — воркер Redis + RQ, чтобы большие PDF не блокировали запрос; Docker-контейнер с GPU для эмбеддингов.

• MCP-сервер с двумя инструментами для Claude — search_papers (гибридный поиск с реранкингом) и ingest_paper (добавление PDF прямо в индекс) — предназначен для работы как память о научных статьях, к которой Claude может обращаться напрямую.

• Полная контейнеризация — контейнеры Qdrant + Redis + API/воркер с GPU через docker-compose.

Технологический стек

Python · Docling (разбор PDF) · sentence-transformers (dense-эмбеддинги BGE-M3) · fastembed (sparse-эмбеддинги SPLADE) · Qdrant (гибридный векторный поиск) · Redis + RQ (фоновая очередь задач) · FastAPI (планируемый слой API) · MCP (сервер Model Context Protocol для Claude) · Docker Compose, GPU-контейнер CUDA 12.9.

Статус

В разработке — пока не полностью связан в единый конвейер.

Уже работает: ingest.py запускается автономно из CLI — разбирает PDF, получает метаданные, создает эмбеддинги (dense + sparse) и загружает в Qdrant. Укажите запущенный экземпляр Qdrant — и всё работает.

Чего не хватает: main.py — сервис FastAPI, который должен предоставлять /search, /ingest и /health. Dockerfile копирует его, healthcheck в Docker Compose пингует его, RQ-воркер ожидает, что кто-то будет ставить для него задачи в очередь, а оба инструмента Claude в mcp_server.py обращаются к нему по HTTP на localhost:8000. Без него воркеру нечего обрабатывать, инструментам MCP не с чем общаться, а docker-compose up не соберется (на этапе сборки образа API/воркера копируется несуществующий файл).

В docker-compose.yml bind-монтирования по-прежнему указывают на путь Windows (S:\RAG-data\...) из более ранней настройки — измените их на нужное расположение данных Qdrant/Redis/кэша моделей перед запуском.

Запуск (на данный момент)

uv sync

# Qdrant needs to be running somewhere ingest.py can reach:
docker run -p 6333:6333 qdrant/qdrant

python ingest.py path/to/paper.pdf

Полный конвейер (стек Docker Compose, API /search и /ingest, инструменты MCP) заработает, когда появится main.py.