Translation MCP Server

# 文档检索的上下文增强窗口 ## 概述 此代码在向量数据库中实现了用于文档检索的上下文增强窗口技术。它通过为每个检索到的文本块添加周围上下文来增强标准检索过程，从而提高返回信息的连贯性和完整性。 ## 动机 传统的向量搜索通常返回孤立的文本块，这些文本块可能缺乏充分理解所需的上下文。此方法旨在通过包含相邻的文本块来提供更全面的检索信息视图。 ## 主要组件 1. PDF处理和文本分块 2. 使用FAISS和OpenAI嵌入创建向量存储 3. 带上下文窗口的自定义检索函数 4. 标准检索与上下文增强检索的比较 ## 方法详情 ### 文档预处理 1. 读取PDF并转换为字符串。 2. 将文本分割为有重叠的块，每个块都标记其索引。 ### 向量存储创建 1. 使用OpenAI嵌入为文本块创建向量表示。 2. 从这些嵌入创建FAISS向量存储。 ### 上下文增强检索 1. `retrieve_with_context_overlap`函数执行以下步骤： - 根据查询检索相关文本块 - 为每个相关文本块获取相邻块 - 连接文本块，考虑重叠部分 - 返回每个相关文本块的扩展上下文 ### 检索比较 笔记本包含一个比较标准检索与上下文增强方法的部分。 ## 此方法的优势 1. 提供更连贯和上下文丰富的结果 2. 在保持向量搜索优势的同时，减轻其返回孤立文本片段的倾向 3. 允许灵活调整上下文窗口大小 ## 结论 这种上下文增强窗口技术为提高基于向量的文档检索系统中检索信息的质量提供了一种有前景的方法。通过提供周围上下文，它有助于保持检索信息的连贯性和完整性，可能在问答等下游任务中带来更好的理解和更准确的响应。