txtai — это комплексная среда искусственного интеллекта для семантического поиска, оркестровки LLM и рабочих процессов языковой модели.
Ключевым компонентом txtai является база данных вложений, которая представляет собой объединение векторных индексов (разреженных и плотных), графовых сетей и реляционных баз данных.
Эта основа позволяет осуществлять векторный поиск и/или служит мощным источником знаний для приложений большой языковой модели (LLM).
Создавайте автономные агенты, процессы расширенной генерации данных (RAG), многомодельные рабочие процессы и многое другое.
Краткое описание возможностей txtai:
txtai создан с использованием Python 3.10+, Hugging Face Transformers , Sentence Transformers и FastAPI . txtai имеет открытый исходный код под лицензией Apache 2.0.
Интересуетесь простым и безопасным способом запуска размещенных приложений txtai? Тогда присоединяйтесь к предварительному просмотру txtai.cloud , чтобы узнать больше.
Новые векторные базы данных, фреймворки LLM и все, что между ними, появляются ежедневно. Зачем разрабатывать с txtai?
В следующих разделах представлены общие случаи использования txtai. Также доступен полный набор из более чем 60 примеров блокнотов и приложений .
Создавайте приложения семантического/сходного/векторного/нейронного поиска.
Традиционные поисковые системы используют ключевые слова для поиска данных. Семантический поиск понимает естественный язык и находит результаты, имеющие одинаковое значение, не обязательно одинаковые ключевые слова.
Начните со следующих примеров.
|Блокнот|Описание| |:---|:---|---:| |Представляем txtai ▶️|Обзор функциональных возможностей, предоставляемых txtai|| |Поиск сходства с изображениями|Встраивайте изображения и текст в одно и то же пространство для поиска|| |Создание базы данных контроля качества|Сопоставление вопросов с семантическим поиском|| |Семантические графы|Изучите темы, возможности подключения к данным и проведите сетевой анализ||
Автономные агенты, расширенная генерация данных (RAG), чат с вашими данными, конвейеры и рабочие процессы, взаимодействующие с большими языковыми моделями (LLM).
Более подробную информацию смотрите ниже.
|Блокнот|Описание| |:---|:---|---:| |Шаблоны подсказок и цепочки задач|Создавайте подсказки для моделей и связывайте задачи с рабочими процессами|| |Интеграция фреймворков LLM|Интеграция llama.cpp, LiteLLM и пользовательских фреймворков генерации|| |Создавайте графы знаний с помощью LLM|Создавайте графы знаний с помощью извлечения сущностей на основе LLM|| |Анализ звезд с помощью txtai|Изучите график астрономических знаний известных звезд, планет и галактик.||
Агенты объединяют встраивания, конвейеры, рабочие процессы и других агентов для автономного решения сложных задач.
Агенты txtai построены на основе фреймворка smolagents . Он поддерживает все LLM, поддерживаемые txtai (Hugging Face, llama.cpp, OpenAI / Claude / AWS Bedrock через LiteLLM).
Более подробную информацию можно узнать по ссылке ниже.
|Блокнот|Описание| |:---|:---|---:| |Анализ постов с объятиями с помощью графиков и агентов|Исследуйте богатый набор данных с помощью графического анализа и агентов|| |Предоставление автономии агентам|Агенты, которые итеративно решают проблемы так, как считают нужным|| |Анализ публикаций компании в LinkedIn с помощью графиков и агентов|Изучение того, как улучшить взаимодействие в социальных сетях с помощью ИИ||
Дополненная генерация поиска (RAG) снижает риск галлюцинаций LLM, ограничивая вывод базой знаний в качестве контекста. RAG обычно используется для «чата с вашими данными».
Новой функцией txtai является то, что он может предоставить как ответ, так и ссылку на источник.
|Блокнот|Описание| |:---|:---|---:| |Создание RAG-конвейеров с помощью txtai|Руководство по поиску дополненной реальности, включая создание ссылок|| |Разделение данных на части для RAG|Извлечение, фрагментация и индексация контента для эффективного поиска|| |Расширенный RAG с обходом пути графа|Обход пути графа для сбора сложных наборов данных для расширенного RAG|| |Речь в речь RAG ▶️|Полный цикл речевого рабочего процесса с RAG||
Рабочие процессы языковых моделей, также известные как семантические рабочие процессы, объединяют языковые модели для создания интеллектуальных приложений.
Хотя LLM являются мощными, есть множество меньших, более специализированных моделей, которые работают лучше и быстрее для определенных задач. Это включает модели для извлекаемых вопросов-ответов, автоматического реферирования, преобразования текста в речь, транскрипции и перевода.
|Блокнот|Описание| |:---|:---|---:| |Запуск рабочих процессов конвейера ▶️|Простые, но мощные конструкции для эффективной обработки данных|| |Создание абстрактных текстовых резюме|Выполнить абстрактное резюмирование текста|| |Транскрибировать аудио в текст|Конвертировать аудиофайлы в текст|| |Перевод текста между языками|Оптимизируйте машинный перевод и определение языка||
Самый простой способ установки — через pip и PyPI.
Поддерживается Python 3.10+. Рекомендуется использовать виртуальную среду Python.
Подробные инструкции по установке содержат дополнительную информацию о дополнительных зависимостях , предварительных условиях для конкретной среды , установке из исходного кода , поддержке conda и о том, как работать с контейнерами .
См. таблицу ниже для текущих рекомендуемых моделей. Все эти модели допускают коммерческое использование и предлагают сочетание скорости и производительности.
Модели можно загрузить как путь из Hugging Face Hub или локального каталога. Пути к моделям необязательны, если не указано иное, загружаются значения по умолчанию. Для задач без рекомендуемой модели txtai использует модели по умолчанию, как показано в руководстве Hugging Face Tasks.
Более подробную информацию можно узнать по следующим ссылкам.
Следующие приложения работают на базе txtai.
| Приложение | Описание |
|---|---|
| тряпка | Приложение Retrieval Augmented Generation (RAG) |
| ragdata | Создание баз знаний для RAG |
| бумагаai | Семантический поиск и рабочие процессы для медицинских/научных статей |
| аннотации | Автоматически аннотировать статьи с LLM |
В дополнение к этому списку существует также множество других проектов с открытым исходным кодом , опубликованных исследований и закрытых проприетарных/коммерческих проектов, которые построены на TXTAI в производстве.
Доступна полная документация по txtai, включая параметры конфигурации для встраивания, конвейеров, рабочих процессов, API, а также раздел часто задаваемых вопросов и ответов на распространенные проблемы.
Для тех, кто хотел бы внести свой вклад в txtai, пожалуйста, ознакомьтесь с этим руководством .
This server cannot be installed
hybrid server
The server is able to function both locally and remotely, depending on the configuration or use case.
txtai — это комплексная база данных вложений для семантического поиска, оркестровки LLM и рабочих процессов языковой модели. Все функции могут обслуживаться через ее API, а API поддерживает MCP.
Документы: https://neuml.github.io/txtai/api/mcp/