负责创建Claude3AI大型语言模型的开发团队Anthropic推出了一种突破性的新检索机制，即上下文检索。这种创新方法旨在通过智能地将额外的上下文信息嵌入文档块中，显著提高传统检索增强生成(RAG)系统的性能和准确性。上下文检索的主要目标是提高检索数据的精确度和相关性，特别是对于复杂查询，传统方法通常难以保持上下文并且无法提供准确的结果。

从本质上讲，上下文检索改进了传统的RAG流程，策略性地将额外的上下文嵌入到每个文档块中。这一关键改进通过有效地维护每个单独块内的周围上下文，确保检索到的信息具有更高的相关性和准确性。

标准RAG图

在传统的RAG设置中，文档被划分为离散的块，并为每个块计算嵌入。然后将生成的嵌入存储在向量数据库中，以便高效检索。在推理过程中，根据与查询的嵌入相似性检索相关块。虽然这种方法在许多情况下都很有效，但它通常很难完全保持原始上下文，尤其是在处理更复杂和细微的查询时。

上下文检索预处理图

传统RAG面临的最大挑战之一是，当单独检索块时，可能会丢失有价值的上下文信息。这种上下文丢失会严重阻碍在复杂查询中检索特定的目标信息，最终导致结果的准确性和相关性降低。

有时最简单的解决方案就是最好的。如果您的知识库小于200,000个标记(约500页材料)，您可以将整个知识库包含在您提供给模型的提示中，而无需使用RAG或类似方法。Kaplan如何使用提示缓存详细介绍此方法?

为了有效克服这些挑战，Anthropic的上下文检索采用了复杂的大型语言模型(LLM)，自动为每个块添加丰富的上下文信息。此过程涉及使用精心设计的提示，将每个单独的块置于文档的整体上下文中，通常会添加50到100个高度相关的上下文标记。通过整合这些额外的上下文信息，检索过程能够更有效地保留信息的完整性和含义，从而显著提高检索准确性。

通过上下文嵌入实现的性能增强确实令人印象深刻。通过采用这种技术，前20个块检索失败率大幅降低了35%。当上下文嵌入与上下文BM25结合使用时，可以观察到更显著的改进，失败率显著下降了49%。此外，在系统中添加重新排序组件进一步提高了整体检索准确性，使整个系统更加强大、可靠，并能有效地提供高度相关的结果。

实施的关键考虑因素

在实践中实现上下文检索时，应仔细考虑几个关键因素，以确保获得最佳性能和结果：

分块策略：所采用的具体分块策略和适当分块边界的确定将取决于每个应用程序的独特要求和特点。

嵌入模型：嵌入模型的选择对于实现最佳结果至关重要。Gemini和Voyage等密集嵌入模型因其卓越性能而备受推荐。

语境提示：根据正在处理的特定文档定制语境提示对于最大限度地提高检索信息的相关性和准确性至关重要。

块数：优化要返回的块数是一个重要的考虑因素。研究表明，返回大约20个块通常会产生最有效的结果。

需要注意的是，添加上下文信息确实会增加整体令牌数量和处理开销。但是，策略性地使用即时缓存可以显著降低成本和延迟，使系统更加高效和经济。

实际应用

上下文检索特别适合大型知识库，尤其是那些超过200,000个标记的知识库。对于较小的知识库，将整个文档包含在提示中可能更有效，因为这种方法减少了对大量分块和上下文嵌入的需求。

为了协助实现上下文检索，Anthropic提供了一个全面的代码示例，演示了该过程涉及的关键步骤。此示例包括创建矢量数据库、计算嵌入和评估性能的详细说明，可作为希望在自己的应用程序中利用这种高级检索机制的开发人员的实用指南。

通过使用Anthropic上下文检索的创新功能，组织可以解锁其信息检索系统的准确性、相关性和效率的新水平。这种突破性的方法代表了该领域的重大进步，使企业能够从其数据中提取更大的价值并向其用户提供更有意义的见解。

版权说明：本站所有作品图文均由用户自行上传分享，仅供网友学习交流。若您的权利被侵害，请联系我们

标签：