62% 的从业者把幻觉列为 AI 应用的首要担忧
先说结论:AI 客服一本正经地胡说八道,问题大概率不在模型,在于你让它读了什么。海外一项千人规模的行业调研显示,62% 的从业者把幻觉列为 AI 应用的首要担忧。但我这些年帮企业上线 AI 问答,看下来只有一个结论:幻觉不是模型的性格缺陷,是知识管理的欠账。账还清了,AI 自然就稳了。
先说结论:AI 客服一本正经地胡说八道,问题大概率不在模型,在于你让它读了什么。海外一项千人规模的行业调研显示,62% 的从业者把幻觉列为 AI 应用的首要担忧。但我这些年帮企业上线 AI 问答,看下来只有一个结论:幻觉不是模型的性格缺陷,是知识管理的欠账。账还清了,AI 自然就稳了。
先说为什么文档场景的幻觉格外致命。调研里有个洞察很准:文档的准确度门槛,比大多数内容都高。营销文案夸张一点,用户笑笑就过去了;但文档里的一条错误指令,能让工程师的整个实现失败,顺手侵蚀掉对产品的信任。同样是幻觉,放在文档和客服场景里,是事故级的。
那幻觉的本质是什么?一句话:智能体在饿上下文。它找不到确定的答案,又不能不回答,就只能编。所以治幻觉的方向,不是换更聪明的模型——再聪明的模型,面对空白也只能编——而是把确定的知识、以确定的方式喂给它。
我说的解法只有五个字:只答已发布知识。关键在「已发布」。企业内容天然分两区:草稿区——写着玩的、过时的、没审核的;发布区——走完审核、面向客户、有版本、有人负责的。AI 的答案边界必须钉死在发布区:库里有什么,答什么;库里没有,就说不知道,转人工。宁可诚实地不知道,不能自信地瞎编。
这背后的内容纪律是三件事。第一,审核发布流:内容从草稿到发布要有人把关,AI 只消费发布后的版本——Baklib 的 Chat 就是这个逻辑,问答只读已发布知识库,不给它自由发挥的空间。第二,单一真源:同一个问题只有一个权威答案,多处维护的旧版本是幻觉的头号原料。第三,持续更新:AI 会忠实地把三年前的旧参数背给你听,过时信息是最老的文档问题。
调研里还有个有意思的细节:不同角色怕的东西不一样。作者更担心准确度和技能退化,工程师更担心成本、法务和用户信任。两拨人怕的不是同一件事,但解法是同一件事:管住知识源。
回到开头:62% 的担忧,解法不在提示词工程,在内容治理。这也是我做 Baklib 时反复跟客户讲的一句话——
管好知识源,再上 AI。让你的 AI,宁可不知道,绝不瞎说。
我是 Baklib 的产品运营,我们下期见。