AI-ассистент для работы с документами

ИИ-ассистент для работы с документами, созданный с использованием RAG (Retrieval-Augmented Generation), FAISS, MCP (Model Context Protocol), Ollama и Streamlit.

Загружайте PDF-документы, задавайте вопросы по их содержанию, создавайте краткие изложения, извлекайте ключевые слова и получайте ответы на вопросы общего характера с помощью интеграции с Wikipedia.

Возможности

Вопросы по документам

• Задавайте вопросы по загруженным PDF-документам.

• Поиск релевантных фрагментов документов с помощью векторного поиска FAISS.

• Формирование ответов на естественном языке с помощью Ollama.

Создание кратких изложений документов

• Создание кратких изложений загруженных документов.

Извлечение ключевых слов

• Извлечение важных ключевых слов и тем из документов.

Вопросы общего характера

• Интеграция с Wikipedia для вопросов, выходящих за рамки загруженных документов.

Интеграция с MCP

• Предоставление инструментов через MCP.

• Обнаружение и выполнение инструментов через MCP-клиенты.

Загрузка PDF-документов

• Загрузка PDF-файлов непосредственно через интерфейс Streamlit.

• Автоматическое создание эмбеддингов и индексация документов для поиска.

Интерфейс Streamlit

• Простой и удобный интерфейс чата.

• Загружайте PDF-файлы и взаимодействуйте с документами в реальном времени.

Архитектура

PDF
 │
 ▼
PDF Loader
 │
 ▼
Text Chunking
 │
 ▼
Embeddings
 │
 ▼
FAISS Vector Store
 │
 ▼
Retrieval
 │
 ▼
LLM (Ollama)
 │
 ▼
Answer Generation

Технологический стек

Бэкенд

• Python

LLM

• Ollama

• Qwen 2.5 Coder 7B

Векторная база данных

• FAISS

Эмбеддинги

• Sentence Transformers

Протокол

• MCP (Model Context Protocol)

Фронтенд

• Streamlit

Внешние знания

• Wikipedia API

Структура проекта

AI-Document-Assistant/
│
├── datas/
│
├── src/
│   ├── pdf_loader.py
│   ├── chunker.py
│   ├── embeddings.py
│   ├── vector_store.py
│   └── rag_store.py
│
├── tools/
│   ├── search_tool.py
│   ├── summary_tool.py
│   ├── keyword_tool.py
│   ├── qa_tool.py
│   └── wiki_tool.py
│
├── app.py
├── agent.py
├── build_rag.py
├── mcp_client.py
├── mcp_server.py
├── requirements.txt
├── README.md
└── .gitignore

Установка

Клонирование репозитория

git clone https://github.com/yourusername/AI-Document-Assistant.git

cd AI-Document-Assistant

Создание виртуального окружения

python -m venv .venv

Активация окружения

Windows:

.venv\Scripts\activate

Linux/macOS:

source .venv/bin/activate

Установка зависимостей

pip install -r requirements.txt

Установка Ollama

Скачайте и установите Ollama:

https://ollama.com

Загрузите модель:

ollama pull qwen2.5-coder:7b

Запустите Ollama:

ollama serve

Запуск приложения

streamlit run app.py

Откройте:

http://localhost:8501

Как это работает

Вопросы по документам

Пример:

What is MySQL Workbench?

Ассистент:

1. Выполняет поиск по релевантным фрагментам документов.

2. Извлекает соответствующий контекст с помощью FAISS.

3. Отправляет контекст в Ollama.

4. Формирует окончательный ответ.

Вопросы общего характера

Пример:

Who is Elon Musk?

Ассистент:

1. Определяет, что вопрос не относится к документам.

2. Использует Wikipedia.

3. Возвращает краткий ответ.

Инструменты MCP

Доступные инструменты MCP:

document_search

Поиск по релевантным фрагментам документов.

document_summary

Создание кратких изложений документов.

document_keywords

Извлечение ключевых слов из документов.

ask_document

Ответы на вопросы по загруженным документам.

wiki_search

Поиск информации общего характера с помощью Wikipedia.

Планы по развитию

• Поддержка нескольких PDF-файлов

• Хранение истории чата

• Контекст диалога

• Указание источников

• Гибридный поиск (BM25 + векторный поиск)

• Постоянная векторная база данных

• Развёртывание в Docker

• Аутентификация и управление пользователями

Автор

Yadu