Архитектура построения конвейера: FastMCP сервер + Гибридный поиск (ChromaDB + BM25) + Стратегия Parent-Child Retriever + Реранкер Cross-Encoder + Локальная модель Saiga (Llama 3).
Для работы интеллектуального парсинга документов (unstructured), извлечения таблиц и оптического распознавания сканов (OCR) требуются системные утилиты. Установите их через пакетный менеджер apt:
sudo apt update && sudo apt install -y python3-venv python3-pip tesseract-ocr tesseract-ocr-rus tesseract-ocr-eng poppler-utils libmagic1 curl
Перейдите в директорию проекта, создайте и активируйте виртуальное окружение
Установите серверную часть Ollama на Linux:
curl -fsSL https://ollama.com/install.sh | sh
Скачайте файл весов русифицированной модели Saiga Llama 3 в формате GGUF напрямую с Hugging Face в корень проекта:
curl -L -o model-q4_K.gguf "https://huggingface.co/IlyaGusev/saiga_llama3_8b_gguf/resolve/main/model-q4_K.gguf"
Инициализируйте и соберите модель внутри Ollama:
ollama create saiga -f Modelfile
Конвейер индексации полностью переведен на интерактивный CLI-режим
python prepare_data.py
В появившейся строке ввода укажите полный путь к папке с документами
Для старта диалоговой сессии запустите клиентское приложение:
python client.py