谷歌提出“忠实不确定性”，破解大模型幻觉难题

引言：幻觉与企业应用的矛盾

大型语言模型（LLM）至今仍难以摆脱“幻觉”的困扰，这已成为其在企业级实际应用中的重大绊脚石。为了减少这些错误，模型开发者往往陷入两难的境地：消除事实性错误的同时，往往也会抑制原本有效的答案，导致模型变得过于保守。

在最新发布的一篇论文中，谷歌研究人员提出了一种名为“忠实的不确定性”的元认知技术。该技术的核心在于让模型的回答与其内部置信度保持一致。这种一致性使得模型能够给出带有适当保留的假设，例如“我的最佳猜测是……”，而不是被迫陷入“回答或弃权”这种非黑即白的僵化模式。

在现实世界的智能体（agents）AI应用中，这种元认知能力扮演着至关重要的控制层角色。它赋予了自主系统准确判断自身知识储备的能力：系统可以清楚知道何时内部知识足以应对，何时必须动态触发外部工具或搜索API来弥补知识缺口。

现有策略的“效用税”困境

要理解大模型为何会产生幻觉，关键在于区分两种能力：模型掌握事实的能力，以及模型“知道自己知道什么”的能力。长期以来，AI在事实性方面的提升主要依赖于通过扩大模型规模和增加训练数据来扩充知识边界。

然而，单纯扩充模型的知识量并不能自动提升其“边界意识”，即区分已知与未知并认识自身局限的能力。

“提升大模型的事实性通常有两种途径，”该论文合著者、谷歌研究科学家Gal Yona向VentureBeat表示，“第一种是持续教授模型更多事实。但模型的容量是有限的，而知识的‘长尾’实际上是无限的。”

一旦模型触及容量极限，人们希望它能意识到自己的无知并拒绝回答。但这对于大模型来说 inherently（本质上）是非常困难的。

“这就是为什么大多数通过干预手段减少幻觉的尝试最终都无法落地，”Yona解释道，“它们确实减少了幻觉，但同时也损害了模型的实用性，因为模型最终会拒绝回答它实际上知道的问题。”

这种无法区分已知与未知的情况，被论文作者称为“效用税”。为了执行零幻觉标准，模型必须在有一丝不确定时选择弃权，这会导致大量完全正确的信息被丢弃。作者举例说明，若要将25%的基础错误率严格降低至5%的目标，开发人员不得不放弃模型高达52%的正确答案。

将所有错误都视为幻觉，迫使企业系统在可信度和实用性之间做出选择。应用开发者通常不愿意支付如此巨大的“效用税”，导致模型变得毫无用处。

因此，他们通常会优化系统以优先考虑覆盖率，迫使模型在持续生成自信幻觉的状态下运行。

重新定义幻觉：从错误到自信的误导

为了摆脱“效用税”的困境，研究人员建议停止将任何事实性错误都视为幻觉。相反，他们将幻觉重新定义为“自信的错误”：即在没有适当限定的情况下，权威性地传达错误信息。

这种微妙的重新定义打破了僵化的“回答或弃权”二元对立，允许模型表达其不确定性。

在这个新框架下，如果模型犯了一个事实性错误，但在回答中适当地进行了保留（例如说“我不完全确定，但我认为……”），这就不算作幻觉。这只是一个提供给用户参考的假设。通过表达不确定性，AI在分享其拥有的部分或可能正确的知识的同时，保留了自己的实用性，且没有违背用户的信任。

当然，如果AI助手在所有回答中都加上免责声明，用户就必须对一切进行二次核查，这完全违背了工具的初衷。

研究人员提出的解决方案正是“忠实的不确定性”。这种方法要求将模型的语言不确定性（即表达怀疑的词汇）与其内在不确定性（即其对特定答案的实际内部统计置信度）对齐。这确保了模型只有在其内部状态确实反映出冲突或低概率信息时，才会使用保留性措辞。

忠实的不确定性构成了“元认知”的核心组成部分，即AI意识到自身不确定性并据此采取行动的能力。为了直观理解这一点，我们可以想象咨询医生的场景。我们信任医生并非因为他们无所不知，而是因为他们能可靠地区分自信的诊断（“你骨折了”）和基于经验的推测（“可能是扭伤，但让我们做个检查确认一下”）。

企业级AI与智能体的实践意义

在新框架下，那些模型确实自信但事实错误的回答被归类为“诚实的错误”。这种归类将知识扩展（用更多数据训练模型）与忠实的不确定性视为完全互补的努力。知识扩展旨在向外推移绝对的知识边界以减少诚实的错误，而忠实的不确定性则诚实地传达当前边界的所在位置。

这种新框架对智能体（agents）应用具有重要意义。向智能体AI的转变似乎让“知道模型不知道什么”变得多余，毕竟模型可以直接搜索外部数据库。然而，对外部工具的访问实际上放大了对忠实不确定性的需求。在智能体系统中，元认知成为了控制整个系统的中枢。

外部工具解决了存储问题，因为模型不再需要将每个事实都编码到参数中。但这引入了一个新的控制问题：何时检索信息、何时验证事实以及如何编排这些外部工具。如果没有忠实的不确定性，智能体基本上是在“盲目飞行”，不得不依赖外部的静态启发式规则或过度复杂的脚手架。

“模型可能会去搜索它已经自信知道的内容——徒劳地浪费延迟和成本。或者相反：当它应该搜索时，却自信地凭记忆回答，生成看似合理但错误的输出，”Yona指出。目前的智能体工具尝试通过查询分类器或“始终搜索”规则来从外部解决这一问题，但Yona认为这些方法“静态且脆弱”。通过利用其内在不确定性来调节自身行为，智能体可以动态优化工具的使用，仅在内部置信度真正较低时选择调用搜索工具。

除了决定何时搜索，忠实的不确定性对于评估搜索结果也至关重要。如果工具返回了低质量或出乎意料的信息，具备元认知能力的智能体不会盲目接受上下文窗口中出现的任何内容。相反，它会利用不确定性意识，将检索到的外部信号与其自身的内部先验知识进行权衡。这防止了系统产生“阿谀奉承”的行为，即盲目信任那些与其已知知识相冲突的外部来源。