xinPlugin_Chroma_FastMCP

Векторный слой поиска для базы знаний MinIO: извлекает текст из загруженных в MinIO документов (PDF/txt/md), разбивает его на фрагменты, загружает векторы в Chroma и через FastMCP предоставляет «поиск» как MCP-инструмент для подключения dsh-mcp-client из DSH (DeepSeek Harness), чтобы агент мог напрямую искать исходные тексты при ответах на вопросы.

Состав

Related MCP server: Modular RAG MCP Server

Установка

pip install -r requirements.txt
# 首次检索会下载默认 embedding（all-MiniLM-L6-v2，约 80MB，缓存在 ~/.cache/chroma）

Использование

# 入库
python ingest.py "广州十五五规划.pdf" "广州十五五规划.pdf"

# 检索（或经 MCP 工具 search）
python -c "from chroma_store import search; import json; print(json.dumps(search('广州 人工智能+ 大模型 算力 数据要素', 6), ensure_ascii=False))"

Инструменты MCP

• search(query, top_k=6) — гибридный поиск (семантика + ключевые слова), возвращает фрагменты исходного текста и источники (файл + страница + строка).

• ingest_file(path, source_name) — загрузка локального файла в базу.

• list_sources() — список загруженных источников.

На стороне DSH подключение к server.py идёт через stdio (dsh-mcp-client), имена инструментов выглядят как mcp__chroma__search.

Принцип поиска

• Разбиение: текст извлекается постранично, отфильтровываются шумы — колонтитулы, нижние колонтитулы, номера страниц; каждая часть — по 6 строк (перекрытие 1 строка), в метаданных хранятся source/page/line_start/line_end.

• Гибридный поиск: семантические векторы Chroma (косинусная близость) + разрежённый поиск BM25 по символьным биграммам, RRF-слияние — когда китайские семантические эмбеддинги слабые, BM25 подстраховывает по точным ключевым словам «大模型/算力/数据要素», обеспечивая стабильное определение источника.

• При загрузке кеш разрежённого поиска инвалидируется, повторная загрузка того же источника обновляет запись.