🇵🇱 波兰语版本

RAG Pipeline

一个面向研究论文的本地、GPU 加速检索管道——通过布局感知分块解析 PDF，获取真实的书目元数据（DOI → CrossRef），使用混合稠密 + 稀疏向量进行嵌入，并将所有内容存储在 Qdrant 中，用于带重排序的混合搜索。构建目的是通过 MCP 服务器让 Claude 直接查询。

为什么

把论文丢进文件夹，它们就搜索不到了。这个管道把一堆 PDF 变成可查询的东西：按章节/段落感知的合理分块（而不是朴素的字符切分器）、从 CrossRef 自动拉取的可用于引用的元数据，以及混合稠密+稀疏检索，让语义查询和精确词项查询都能工作——所有这些都作为 MCP 工具暴露出来，让 Claude 可以直接搜索和摄取论文。

Related MCP server: Personal Research Assistant MCP

特性

• 布局感知的 PDF 解析，通过 Docling ——按段落/章节分块，而不是朴素的字符切分器，保留每个块的页码和章节标题。

• 真实的书目元数据 ——从第 1 页用正则提取 DOI，通过 CrossRef API 解析完整的引文数据（标题、作者、期刊、年份、卷/期/页码），当未找到 DOI 时回退到 PDF 自身的元数据。

• 混合嵌入 ——每个块包含稠密（BAAI/bge-m3）+ 稀疏（SPLADE、prithvida/Splade_PP_EN_v1）向量，一起存储在 Qdrant 中用于混合检索。

• 后台摄取 ——一个 Redis + RQ 工作进程，让大的 PDF 不会阻塞请求；支持 GPU 的 Docker 容器用于嵌入。

• MCP 服务器向 Claude 暴露两个工具 ——search_papers（带重排序的混合搜索）和 ingest_paper（把 PDF 直接放入索引）——旨在作为 Claude 可以直接查询的研究论文记忆。

• Docker 化 ——通过 docker-compose 运行 Qdrant + Redis + 启用 GPU 的 API/工作进程容器。

技术栈

Python · Docling（PDF 解析）· sentence-transformers（BGE-M3 稠密嵌入）· fastembed（SPLADE 稀疏嵌入）· Qdrant（混合向量搜索）· Redis + RQ（后台任务队列）· FastAPI（计划中的 API 层）· MCP（面向 Claude 的 Model Context Protocol 服务器）· Docker Compose、CUDA 12.9 GPU 容器。

状态

正在进行中 ——尚未完全端到端打通。

目前已可用： ingest.py 可以从 CLI 独立运行 ——解析 PDF，获取其元数据，进行嵌入（稠密 + 稀疏），然后 upsert 到 Qdrant。把它指向一个正在运行的 Qdrant 实例就能工作。

缺失： main.py ——本应暴露 /search、/ingest 和 /health 的 FastAPI 服务。Dockerfile 会复制它，Docker Compose 健康检查会 ping 它，RQ 工作进程期待有东西为它入队任务，mcp_server.py 的两个 Claude 工具也都通过 HTTP 在 localhost:8000 调用它。没有它，工作进程就没有可消费的任务，MCP 工具就没有后端可对接，docker-compose up 也无法构建（API/工作进程镜像的构建步骤会复制一个不存在的文件）。

docker-compose.yml 的绑定挂载也仍然指向早期设置中的 Windows 路径（S:\RAG-data\...）——在运行之前，请将这些路径调整为你希望 Qdrant/Redis/模型缓存数据存放的位置。

当前运行方式

uv sync

# Qdrant needs to be running somewhere ingest.py can reach:
docker run -p 6333:6333 qdrant/qdrant

python ingest.py path/to/paper.pdf

一旦 main.py 存在，完整管道（Docker Compose 栈、/search 和 /ingest API、MCP 工具）就能工作。