构建智能搜索助手对知识库的益处

在搜索引擎时代，我们寻找信息时总是使用"关键词"。像谷歌、必应和DuckDuckGo这样的搜索引擎已经通过算法巧妙地组织了信息，实现了关键词匹配。我们总是会查看搜索结果中至少前2-3个链接。然而，ChatGPT彻底改变了我们搜索信息的方式。ChatGPT会为顾客的问题提供准确的信息。在搜索方面，我们已经从"使用关键词"转向"提出准确的问题"。拥有ChatGPT的OpenAI还提供了一个大型应用程序编程接口(API)，可用于在您的专有数据上构建类似ChatGPT的界面。本博客将讨论如何利用您掌握的数据构建一个类似ChatGPT的辅助搜索工具。

为什么创建类似ChatGPT的系统很重要？

受客户行为变化和新技术发展的推动，全球许多组织除了使用关键词的词汇搜索外，还实施了GenAI驱动的辅助搜索。下表显示了搜索范式中的不同方法。 特点 词汇搜索 GenAI辅助搜索 知识发现 关键词 提示（问题） 是否需要上下文 不需要 需要 响应时间 毫秒级 1-5秒 匹配算法 关键词匹配 语义匹配 自动补全关键词 是 否 响应 包含"关键词"的文章 对提示（问题）的精确回答

相比使用OpenAI的ChatGPT界面，构建自己的生成式AI辅助搜索工具有诸多优势。ChatGPT基于大型语言模型构建，该模型需要海量文本数据、时间及计算资源进行训练。最新的ChatGPT模型训练数据截止至2023年4月。因此，如果问题涉及2023年4月之后的时事，ChatGPT将无法生成有效回应。若订阅付费方案，则可使用其高级的ChatGPT 4模型。

ChatGPT服务器位于美国区域，所有界面中的对话数据均存储于美国境内。OpenAI会利用这些对话数据优化其底层大型语言模型。ChatGPT用户可选择禁用此功能。若企业员工在ChatGPT界面中分享机密信息，始终存在数据泄露风险。目前全球众多组织已在其安全边界内禁用ChatGPT，将隐性知识存储于Baklib这类安全的知识库平台。OpenAI现通过SOC 2合规认证，用户可与其签订数据处理协议以保障隐私安全。

由于ChatGPT向所有人开放使用，无法根据用户权限和角色进行信息访问限制。此外，ChatGPT的行为模式无法自定义。例如，若希望ChatGPT对组织内用户采用特定语调或行为方式，这一需求无法实现。ChatGPT会收集用户对生成回复的反馈，这些数据将持续用于训练其底层大型语言模型。

ChatGPT不向用户或任何组织提供分析功能。问题类型、回复和用户反馈有助于理解用户行为；这为用户和组织提供了丰富的信息。为了克服ChatGPT的局限性，组织可以利用OpenAI API构建自己的类似ChatGPT的辅助搜索工具或聊天机器人。

GenAI辅助搜索的优势

组织可以利用检索增强生成框架来构建自己的GenAI搜索引擎或聊天机器人。这个框架有助于克服通用ChatGPT的局限性，并获得拥有GenAI辅助搜索的优势。

私有知识库

组织可以将他们的ChatGPT指向其私有的知识库或组织知识库，使其仅使用其中存在的信息来生成准确的回答。

内容更新

一旦内容更新，您类似ChatGPT的辅助搜索工具可以立即获取这些更新，以提供及时的回应。

访问控制

可以限制组织内的用户访问某些信息。类似ChatGPT的辅助搜索工具可能会回应说：“您无权访问该信息，或我很抱歉。” 基于角色的知识库访问控制可以防止信息泄露，并有助于保护机密信息。

数据安全与隐私

数据可以保存在您组织安全边界内的私有服务器中，以保护您的机密知识。

数据分析

所有输入到类似ChatGPT的辅助搜索工具或聊天机器人中的提示（问题）都可以存储在后台以供进一步处理。一旦经过分析，它们可以帮助理解知识内容的差距，并改进重要的知识库内容。GenAI搜索与ChatGPT有何不同？

在您知识库基础上构建的GenAI辅助搜索与ChatGPT（通用目的）工具有很大不同。下表描述了ChatGPT与在您公共或私有知识库之上构建自己的GenAI辅助搜索之间的区别。

特性ChatGPT构建自己的GenAI辅助搜索 基础数据整个互联网您的私有数据 访问控制无法应用基于用户角色的访问控制来限制信息访问易于应用基于用户角色的访问控制来限制信息访问 行为定制不可能可能 数据隐私与安全存储在美国服务器的数据可能被用于训练以改进其模型数据存储在您的服务器 分析ChatGPT不提供任何关于提示/问题的分析分析提供洞察力以解决知识差距并提高内容质量 可定制否是 对生成的回复提供反馈是是 内容更新以反映在生成的回复中否是

可以利用OpenAI的API来构建一个生成式AI辅助搜索工具，OpenAI正是ChatGPT工具的创造者！除了OpenAI的API，企业也可以选择在自己的私有服务器上托管任何开源的LLM，并使用其专有数据来训练模型。可以使用诸如Meta的Llama、Mistral等开源模型。Hugging Face提供了可用于多种应用场景的模型目录列表。在自己的云基础设施上托管开源模型会增加实施成本，但在隐私方面会带来更大的灵活性。

结论

使用RAG框架并利用第三方API，可以轻松构建你自己的、类似于ChatGPT的辅助搜索工具或聊天机器人。对于优先考虑数据安全和隐私的组织，鼓励使用开源LLM，这样其企业数据永远不会离开其安全边界，并且他们可以更快地采用新技术。有足够能力承担一定风险的组织可以利用ChatGPT API快速构建新工具，以提升客户体验。知识发现正在重塑我们使用信息的方式，并赋予我们利用新发现的信息创造更多商业价值的能力。

💛🧡🧡客户评价：我们有跨国员工正在做创造性的事情，拥有我们所有的集体知识，且统一存储在一个地方是至关重要，Baklib作为企业的内容中台，方便我们存储资源、建知识库、打造多站点体验非常有帮助。我们还发布某些领域为客户提供支持帮助指南，这已经变得如此之多现在对我们来说更容易了。

一个直观的知识库软件，可以轻松添加你的内容并将其与任何应用程序集成。试试Baklib吧！

立即开始