GenAI搜索引擎的工作原理

ChatGPT和Bard的出现改变了客户寻找信息的方式。生成式人工智能（GenAI）技术正在这个AI优先的时代，为信息的消费方式设定新的趋势。客户通过利用GenAI工具的强大功能，为其问题/提示寻求准确的信息。

GenAI技术建立在大型语言模型（LLMs）之上，这些模型使用互联网上可用的大量文本数据进行训练。许多供应商，如OpenAI、Anthrophic等，都通过API提供其专有的LLMs。而像Meta这样的供应商，则完全开源了其LLMs。这些LLMs及其相关的APIs在构建一个由GenAI能力驱动的辅助搜索引擎中扮演着至关重要的角色。

LLMs存在的问题是，它们无法提供任何近期或当下的信息，因为它们需要数月时间用新数据重新训练。为了克服这一限制，一种创新的架构被提出，它位于LLMs之上。

什么是检索增强生成（RAG）框架？

检索增强生成（RAG）是一种优雅的方法，它将近期或新的信息增强后提供给底层LLMs，使其能够理解寻求新信息的问题。 RAG框架为所有基于GenAI的搜索引擎或任何为客户问题提供上下文感知答案的搜索引擎提供动力。

RAG架构由检索器模块和生成器模块组成。要使RAG架构工作，我们需要将所有知识库内容切分成小块。有许多方法可以切分所有知识库内容，例如：

• 基于内容层次结构进行切分
• 基于使用场景进行切分
• 基于内容类型和使用场景进行切分

文本数据被切分后，所有这些数据块都需要转换为文本嵌入。文本嵌入是将文本数据转换为数值（浮点数）的过程，这些数值捕获了数据块内文本数据的语义及其信息。生成式AI工具供应商提供了大量的API，其中嵌入模型是一种可以快速且廉价使用的流行API。OpenAI Ada文本嵌入模型是一个被广泛使用的流行API。

流程的下一步是将所有文本嵌入及其相关的数据块和元数据存储在向量数据库中。

一旦客户输入问题/提示，我们会将问题转换为嵌入向量，并进行向量搜索，以在语义上匹配向量数据库中的嵌入向量。向量搜索通过分层导航小世界（HNSW）进行，向量数据库可以在几毫秒内返回最相关的上下文。返回的上下文数量是可配置的，根据经验，通常选择为5。语义匹配通过相似性度量实现，如余弦相似度、点积和欧几里得距离。大多数情况下使用点积度量，因为文本嵌入通常被归一化到1，其效果类似于余弦相似度。此检索器模块的任务是从向量数据库中返回前5个最相关的上下文（片段）。一旦返回前5个上下文，将使用工具供应商的聊天完成API生成响应。响应将显示在用户界面（UI）中。前5个上下文可以作为引文显示，用于生成此响应，确保可信度。这也有助于用户验证文章来源，确保GenAI工具不会产生幻觉！

RAG架构是一种优雅而简单的方式，可以在您的技术文档之上实现基于GenAI的搜索引擎/聊天机器人。许多供应商已经发布了样板代码，可以即开即用，以实现GenAI辅助搜索引擎。MongoDB开源了一个聊天机器人框架。这使得许多组织能够轻松地在自己的知识库之上实现这些GenAI功能。

以下是一些有助于有效设置GenAI搜索引擎的技巧：

1. 确保底层知识库以HTML或Markdown格式提供。
2. 根据您的客户画像和通常提出的问题，选择最优的分块策略。
3. 使用任何NoSQL数据库，而不是专用的向量数据库。部署向量数据库会增加成本，更重要的是会带来许多管理开销，例如：
   • 数据同步
   • 为内容应用访问控制权限
   • 对向量数据库进行安全加固。
4. 使用LLM供应商提供的最先进的文本嵌入模型。
5. 针对您的用例优化返回的块大小和块数量。
6. 从可用的LLM供应商中选择一个良好的聊天补全API。
7. 为聊天补全微调您的系统消息。
8. 在设计阶段优化成本、准确性和用户体验。
9. 构建一个直观的界面来访问这个强大的搜索引擎，以鼓励客户使用并理解其价值主张。
10. 确保所有返回的上下文都显示在用户界面中，以便作为引用来源。
11. 尝试各种嵌入和聊天补全模型，并根据LLM供应商的最新模型更新来保持您的搜索工具处于最新状态。

许多世界各地的用户已经广泛采用了基于生成式AI的搜索引擎。大多数面向消费者的搜索引擎提供商，如Google、Microsoft和DuckDuckGo，都已经在其词汇搜索引擎中注入了生成式AI功能。您的许多客户也会期望在他们的文档之上拥有生成式AI搜索引擎，以便更快地找到问题的答案。RAG架构是实现基于生成式AI的搜索引擎的流行架构。优化块大小和块数量将优化您RAG系统中检索器模块的上下文相关性，而在聊天完成中微调系统消息将优化生成器模块生成响应的质量。鉴于客户行为的转变，它有望成为新一代客户的默认搜索引擎。