多模型AI系统：失败率被严重低估
当团队将查询分配给编程专家、逻辑专家和通用模型时，他们通常认为每个模型都能弥补其他模型的盲点。一项评估来自21个提供商的67个前沿模型的新研究表明，这种假设在数学上存在缺陷，而这个缺陷有一个专门的名称：共同失败上限。
这种假设的逻辑是：只要两个模型通常不会对完全相同的提示失败，将它们结合起来就应该能够创建一个防止失败的安全网。
编排的真实限制不在于模型之间的分歧频率，而在于所有模型同时给出错误答案的提示百分比。通过忽视共同失败上限，企业正在构建复杂且昂贵的路由基础设施，去追求那些不存在的性能提升。幸运的是，开发者可以利用相同的数学方法构建一个零成本的测试，以确定多模型编排何时才能真正带来回报。
多模型策略的隐藏成本
要编排多个语言模型，开发者通常依赖三种架构。模型路由器充当交通警察，将复杂查询发送到昂贵的模型，将简单查询发送到较便宜的模型。级联方法首先将每个提示发送到廉价模型，只有当初始系统显示低置信度时才升级到高级模型。最后，像混合智能体(MoA)这样的方法通过向多个模型提出相同问题，并从它们的组合输出中生成综合答案来融合多个模型。
这些架构为推理成本引入了”影子价格”。每次开发团队实现路由器或级联时，他们都会在增加的系统延迟、复杂的基础设施维护以及跨多个API提供商增加的治理风险方面支付额外费用。
为了证明这些运营成本的合理性，工程师依靠”成对错误相关性”来选择他们的模型池。假设开发者拥有模型A，它擅长编写Python但在SQL方面失败，而模型B擅长编写SQL但在Python方面失败。由于它们在不同类型的提示上失败，它们的成对错误相关性较低。开发者假设通过在它们前面放置一个路由层，他们已经创建了一个很少在编码方面失败的复合系统。
研究表明，如果不能保证模型能力相当，仅基于低相关性将多样化模型组合在一起实际上可能会损害性能——当你在能力不均的模型之间进行投票时，较弱的模型常常会联合起来推翻最智能的模型。
该论文作者约瑟夫·陈告诉VentureBeat，在他们的实验中，”在不均等模型上进行简单的多数投票会产生负平均增益（在我们的困难测试组合中减少了10分）：多样化但较弱的成员会胜过最强大的一个。”对开发者的实用建议是”仅组合质量相当范围内的模型”。如果你无法匹配质量，请采用单模型基准，并将预算投入到可获得的最佳模型上。
该论文为MoA架构提供了一个亮点。在构建集成时，团队经常使用”自混合智能体”(Self-MoA)，即多次查询同一高级模型以生成综合答案。研究人员发现，在质量相当的情况下，构建具有低成对相关性的多样化模型集优于高相关性的自混合智能体设置。
然而，当团队使用相同的成对相关性指标来预测其整体系统的绝对准确率时，数学计算就失效了。
陈说：”因此，团队预先支付了编排开销（延迟、复杂性、多提供商运营），假设后期会有多样化收益出现。通常不会出现这种情况，因为当今最好的模型意见一致，更糟糕的是，它们在相同的查询上失败……提示本身几乎不包含任何信号，表明在前沿模型意见不一致时，哪个模型会是正确的那个。”
数学失效的原因：共同失败上限
该研究的核心发现围绕一个名为”共同失败率”的指标展开——即上述所有模型都失败场景的正式名称。无论路由系统、投票系统还是级联系统，其准确率永远无法超过这个上限所设定的极限。
编程、逻辑和通用模型池在常规提示上显示出低成对相关性——它们很少同时失败。但共同失败上限代表了当前AI架构无法处理的晦涩、高度复杂的边缘案例。如果一个提示如此困难，以至于所有三个模型都产生幻觉或失败，那么路由器如何智能地分配任务就无关紧要了。整个模型池会同时崩溃。
研究人员在开放的MATH-500数学基准测试中测试了他们的67个模型池，其中包括GPT-5.5、Claude Opus 4.8和Gemini 3.1 Pro。根据标准的成对相关性，统计模型预测整个模型池只会同时失败2.3%的问题。实际上，共同失败率是5.2%。
标准相关性指标低估了失败率约2.25倍。罪魁祸首不仅仅是独立困难，还有共同失败点。
“驱动因素是我们称之为’公共模式原子’的东西：整个市场一起失败的查询片段，这是任何成对统计都无法看到的，”陈说。”向你的模型池添加第20个模型并不能购买尾部覆盖。尾部是共享的。”
研究人员还发现，任务格式直接触发共同失败。当他们将GPQA基准测试中的研究生级科学问题从多项选择格式改为自由回答格式时，全错尾部扩展到12.7%。
不过，开发者可以绕过这个上限。”工程上的启示令人不安：多模型设置恰恰在团队最需要它们的开放生成领域收益最小，”陈说。”在任何可以将生成转换为验证或约束选择的地方（结构化输出、可检查的答案、执行测试），你就可以重新打开这个上限。”
最终，研究人员发现这个上限以两种不同的方式限制AI应用，具体取决于领域：
上限受限环境（例如开放性数学问题）：共同失败率很高。任务太难，所有模型同时失败。无论路由如何，都无法绕过底层能力的缺乏。
可实现性受限环境（例如研究生级科学问题）：共同失败率接近于零，意味着模型池中至少有一个模型通常知道答案。然而，模型之间的分歧如此微妙，以至于路由层无法在没有全知预言家的情况下可靠地选择正确答案。
零成本预部署健全性检查
在投入工程时间构建路由器之前，团队可以使用名为Clopper-Pearson边界的数学公式免费计算其绝对性能上限。
Clopper-Pearson边界作为最坏情况计算器工作。如果你抛硬币十次得到八次正面，你不能保证这枚硬币永远会80%的概率正面朝上。这个边界取少量测试问题样本，并输出一个数学上保证的上限。
应用于语言模型，假设一个团队在50个样本查询上测试了五个智能体，发现它们同时在两个问题上失败。开发者可能会假设他们的多智能体系统在生产环境中将达到96%的准确率。Clopper-Pearson公式纠正了这种乐观。它分析小样本量并提供数学保证，确保实际性能不会超过某个上限。
关注微信号：智享开源，及时了解更新信息。
公众号：智享开源
还没有任何评论，你来说两句吧！