🇵🇱 Polska wersja

RAG Pipeline

연구 논문을 위한 로컬 GPU 가속 검색 파이프라인 — 레이아웃 인식 청킹으로 PDF를 파싱하고, 실제 서지 메타데이터(DOI → CrossRef)를 가져오며, 하이브리드 밀집 + 희소 벡터로 임베딩하고, 모든 것을 Qdrant에 저장하여 리랭킹이 포함된 하이브리드 검색을 제공합니다. MCP 서버를 통해 Claude에서 직접 쿼리할 수 있도록 설계되었습니다.

왜 필요한가

폴더에 논문을 넣어두면 검색에서 사라집니다. 이 프로젝트는 PDF 더미를 쿼리 가능한 무언가로 바꿔줍니다: 적절한 섹션/문단 인식 청크(단순한 문자 분할기가 아님), CrossRef에서 자동으로 가져온 인용 준비 완료 메타데이터, 그리고 의미 검색과 정확한 용어 검색이 모두 작동하도록 하는 하이브리드 밀집+희소 검색 — 이 모든 것이 MCP 도구로 노출되어 Claude가 논문을 직접 검색하고 수집할 수 있습니다.

Related MCP server: Personal Research Assistant MCP

기능

• 레이아웃 인식 PDF 파싱 — Docling 기반. 단순한 문자 분할기 대신 문단/섹션 단위로 청킹하며, 청크별로 페이지 번호와 섹션 제목을 유지합니다.

• 실제 서지 메타이터 — 1페이지에서 정규식으로 DOI를 추출하고, CrossRef API를 통해 전체 인용 데이터(제목, 저자, 저널, 연도, 권/호/페이지)를 해석하며, DOI가 없으면 PDF 자체 메타데이터로 대체합니다.

• 하이브리드 임베딩 — 청크별로 밀집(BAAI/bge-m3) + 희소(SPLADE, prithvida/Splade_PP_EN_v1) 벡터를 생성하여 Qdrant에 함께 저장하고이브리드 검색에 사용합니다.

• 백그라운드 수집 — Redis + RQ커를 사용하여 대용량 PDF가 요청을 차단하지 않도록 합니다. 임베딩을 위한 GPU 지원 Docker 컨테이너를 포함합니다.

• MCP 서버 — Claude에 가지 도구를 노출합니다: search_papers(리랭이 포함된 하브리드 검색)와 ingest_paper(PDF를덱스에 직접 투입). Claude가 직접 쿼리할 수 있는 연구 논문 메모리로 작동하도록 설계되었습니다.

• ocker화 — docker-compose를 통해 Qdrant + Redis + GPU 지원 API/워커 컨테이너를 제공합니다.

기술 스택

Python Docling(PDF 파싱) · sentence-transformers(BGE-M3 밀집 임베딩) · fastembed(SPLADE 희소 임베딩) · Qdrant(하이브리드 벡터 검색) · Redis + RQ(백그라운드 작업 큐) · FastAPI(계획된 API 레이어) · MCP(Claude용 Model Context Protocol 서버) · Docker Compose, CUDA 12.9 GPU 컨테이너.

현재 상태

진행 중 — 아직 완전히 종단 간 연결되지는 않았습니다.

현재 작동하는 것: ingest.py는 CLI에서 독립 실행됩니다 — PDF 파싱, 메타데이터 가져오기, 임베딩(밀집 + 희소), Qdrant에 업서트. 실행 중인 Qdrant 인스턴스를 가리키면 작동합니다.

누락된 것: /search, /ingest, /health를 노출해야 하는 FastAPI 서비스인 main.py — Dockerfile이 이를 복사하고, Docker Compose healthcheck 이를 핑하며, RQ 워커는 작업을 큐에 넣을 무언가를 기대하고, mcp_server.py의 두 Claude 도구 모두 localhost:8000에서 HTTP로 이를 호출합니다. 이것이 없으면 워커가 소비할 작업이 없고, MCP 도구가 통신할 백엔드가 없으며, docker-compose up이 빌드되지 않습니다(API/워커 이미지의 빌드 단계가 존재하지 않는 파일을 복사하기 때문).

docker-compose.yml의 바인드 마운트도 여전히 이전 설정의 Windows 경로(S:\RAG-data\...)를 가리키고 있습니다 — 실행 전에 Qdrant/Redis/모델 캐시 데이터를 저장할 위치로 조정하세요.

실행 방법 (현재)

uv sync

# Qdrant needs to be running somewhere ingest.py can reach:
docker run -p 6333:6333 qdrant/qdrant

python ingest.py path/to/paper.pdf

전체 파이프라인(Docker Compose 스택, /search 및 /ingest API, MCP 도구)은 main.py가 생성되면 작동할 것입니다.