混合搜索与重排序：深入解析RAG技术

许多人对构建智能AI应用的检索增强生成（RAG）模式并不陌生——例如数字向导、前线支持聊天机器人以及能够帮助基础自助故障排除的智能助手。

从宏观上看，RAG的工作流程相当清晰：用户的提示会从知识库中获取一些相关的上下文信息进行增强，大型语言模型（LLM）基于这些提供的信息而非其原始训练中”内置”的信息来为用户生成响应。

在本文中，我们将深入探讨，试图更好地理解典型的生产级RAG系统实际是如何工作的。要理解信息检索过程中的真实情况，我们需要深入了解混合搜索和重排序技术。

嵌入与向量搜索

在讨论混合搜索和重排序之前，我们先建立一些RAG的基础认知。向量数据库本质上提供了一种基于几何的搜索索引，可以帮助我们在知识库中找到相关内容或知识。其工作原理如下：

1. 使用专门的GPU加速AI模型，将底层源数据编码为嵌入表示。这些嵌入表现为向量——即数字列表，每个数字代表高维空间中的一个坐标。
2. 这些嵌入被存储在数据库表中，通常会使用专门用于向量搜索的搜索引擎预先计算一个特殊的数据库索引，以提高搜索速度。
3. 在运行时，可以使用各种数学指标（如余弦相似度、欧几里得距离（L2搜索）等）来计算两个概念之间的”距离”。
4. 当搜索运行时，系统会返回最接近匹配的向量，并将其映射回底层源数据中的记录。这些记录可能是文本块，或者在使用多模态语言模型的情况下，也可能是图像、音频记录等。

原文链接：https://ubuntu.com//blog/hybrid-search-and-reranking-a-deeper-look-at-rag

推荐阅读

Adaption发布AutoScientist：AI模型自我训练新工具

AI自我进化新时代 长期以来，人工智能研究者们一直期待着AI系统能够实现自我改进，甚至超越人类干预的极限。随着投资者向新…