TxtAI MCP Server

txtai 是一个用于语义搜索、LLM 编排和语言模型工作流的一体化 AI 框架。

txtai 的关键组件是嵌入数据库，它是向量索引（稀疏和密集）、图网络和关系数据库的联合。

该基础支持向量搜索和/或作为大型语言模型 (LLM) 应用的强大知识源。

构建自主代理、检索增强生成 (RAG) 流程、多模型工作流程等。

txtai 功能总结：

• 🔎 使用 SQL、对象存储、主题建模、图形分析和多模态索引进行向量搜索
• 📄 为文本、文档、音频、图像和视频创建嵌入
• 💡 由语言模型驱动的管道，运行 LLM 提示、问答、标记、转录、翻译、摘要等
• ↪️️ 工作流将管道连接在一起并聚合业务逻辑。txtai 流程可以是简单的微服务或多模型工作流。
• 🤖 智能地将嵌入、管道、工作流和其他代理连接在一起，以自主解决复杂问题
• ⚙️ Web 和模型上下文协议 (MCP) API。可用于JavaScript 、 Java 、 Rust和Go 的绑定。
• 🔋 默认配备电池，可快速启动和运行
• ☁️ 本地运行或使用容器编排进行扩展

txtai 是基于 Python 3.10+、 Hugging Face Transformers 、 Sentence Transformers和FastAPI构建的。txtai 在 Apache 2.0 许可下开源。

想要了解如何轻松安全地运行托管的 txtai 应用程序？那就加入txtai.cloud预览版，了解更多信息吧。

为什么是 txtai？

新的矢量数据库、LLM 框架以及介于两者之间的各种技术每天都在涌现。为什么要使用 txtai 进行构建？

• 使用pip或Docker在几分钟内启动并运行

• 内置 API 让您可以轻松地使用您选择的编程语言开发应用程序

• 本地运行——无需将数据发送到不同的远程服务
• 使用微模型直至大型语言模型 (LLM)
• 占用空间小——安装额外的依赖项并在需要时扩展
• 通过示例学习- 笔记本涵盖所有可用功能

用例

以下章节介绍了常见的 txtai 用例。此外，我们还提供了一套包含 60 多个示例笔记本和应用程序的综合资源。

语义搜索

构建语义/相似性/向量/神经搜索应用程序。

传统的搜索系统使用关键词来查找数据。语义搜索能够理解自然语言，并识别具有相同含义（不一定是相同的关键词）的结果。

从以下示例开始。

|笔记本|描述| |:---|:---|---:| |txtai 介绍▶️|txtai 提供的功能概述|| |图像相似性搜索|将图像和文本嵌入到同一空间进行搜索|| |建立 QA 数据库|问题匹配与语义搜索|| |语义图|探索主题、数据连接并运行网络分析||

LLM 编排

自主代理、检索增强生成 (RAG)、与您的数据聊天、与大型语言模型 (LLM) 接口的管道和工作流。

请参阅下文以了解更多信息。

|笔记本|描述| |:---|:---|---:| |提示模板和任务链|构建模型提示并将任务与工作流连接在一起|| |整合 LLM 框架|集成 llama.cpp、LiteLLM 和自定义生成框架|| |使用 LLM 构建知识图谱|使用 LLM 驱动的实体提取构建知识图谱|| |使用 txtai 解析星星|探索已知恒星、行星、星系的天文知识图谱||

代理商

代理将嵌入、管道、工作流和其他代理连接在一起，以自主解决复杂问题。

txtai 代理基于smolagents框架构建。它支持 txtai 所支持的所有 LLM（Hugging Face、llama.cpp、OpenAI / Claude / 通过 LiteLLM 实现的 AWS Bedrock）。

请参阅下面的链接以了解更多信息。

|笔记本|描述| |:---|:---|---:| |使用图表和代理分析“拥抱脸”帖子|使用图形分析和代理探索丰富的数据集|| |赋予代理人自主权|按照自己的意愿迭代解决问题的代理|| |使用图表和代理分析 LinkedIn 公司帖子|探索如何利用人工智能提高社交媒体参与度||

检索增强生成

检索增强生成 (RAG) 通过使用知识库作为上下文来约束输出，从而降低了 LLM 幻觉的风险。RAG 通常用于“与数据对话”。

txtai 的一个新颖的特点是它可以同时提供答案和来源引用。

|笔记本|描述| |:---|:---|---:| |使用 txtai 构建 RAG 管道|检索增强生成指南，包括如何创建引文|| |为 RAG 分块数据|提取、分块和索引内容以实现有效检索|| |具有图形路径遍历的高级 RAG|图形路径遍历，为高级 RAG 收集复杂的数据集|| |语音到语音 RAG ▶️|使用 RAG 的全周期语音到语音工作流程||

语言模型工作流程

语言模型工作流（也称为语义工作流）将语言模型连接在一起以构建智能应用程序。

虽然 LLM 功能强大，但也存在许多规模更小、更专业的模型，它们能够更好、更快地完成特定任务。这些模型包括用于提取式问答、自动摘要、文本转语音、转录和翻译的模型。

|笔记本|描述| |:---|:---|---:| |运行管道工作流程▶️|简单而强大的结构可以高效处理数据|| |构建抽象文本摘要|运行抽象文本摘要|| |将音频转录为文本|将音频文件转换为文本|| |在多种语言之间翻译文本|简化机器翻译和语言检测||

安装

最简单的安装方法是通过 pip 和 PyPI

支持 Python 3.10+。建议使用 Python虚拟环境。

请参阅详细的安装说明以获取更多信息，包括可选依赖项、特定于环境的先决条件、从源代码安装、 conda 支持以及如何使用容器运行。

模型指南

请参阅下表，了解当前推荐的型号。这些型号均可用于商业用途，并兼具速度和性能。

模型可以通过 Hugging Face Hub 中的路径或本地目录加载。模型路径可选，未指定时会加载默认值。对于没有推荐模型的任务，txtai 会使用 Hugging Face 任务指南中所示的默认模型。

请参阅以下链接以了解更多信息。

• 拥抱脸部任务
• 拥抱脸模型中心
• MTEB排行榜
• LMSYS LLM排行榜
• 开放法学硕士排行榜

由 txtai 提供支持

以下应用程序由 txtai 提供支持。

除了此列表之外，还有许多其他开源项目、已发布的研究成果和封闭的专有/商业项目在生产中基于 txtai 构建。

进一步阅读

• 推出一体化 AI 框架 txtai
• Hashnode 教程系列| dev.to
• txtai 8.0 | 7.0 | 6.0 | 5.0 | 4.0中的新功能
• 语义搜索入门|工作流程| rag
• 大规模运行 txtai
• 矢量搜索和 RAG 景观：txtai 的回顾

文档

txtai 的完整文档包括嵌入、管道、工作流、API 的配置设置以及常见问题的常见问题解答。

贡献

对于那些想要为 txtai 做出贡献的人，请参阅本指南。