AI智能体评估：完美表象下的隐患

单个AI智能体的对话可能单独看完美无瑕，却仍指向存在问题的产品。这一差距促使企业重新思考评估智能体的方式，从单独评分转变为与基准对比用户群体。

在VB Transform 2026大会上，LangChain首席执行官Harrison Chase、Conviva联合首席技术官Hui Zhang以及CoreWeave工程总监Emmanuel Turlay共同阐述了这一转变，并介绍了同时向更廉价、更专业的评判模型发展的趋势。

智能体评判——即用一个AI智能体评判另一个智能体的输出——尚未取代LLM评判，Chase表示后者仍是默认选择。Zhang指出，更大的张力在于自动评判（无论是通过LLM还是智能体）与人工审查之间的权衡。

“你可以实现规模化但缺乏根基，无论是用智能体评判还是LLM评判，你评估结果，你评估工作，但仍然很难将其扎根，然后你使用人工，这又无法规模化，”Zhang说，”整个行业都面临这个难题，你选择哪种毒药。”

评估标准现在充当产品规格说明书

那种差距——对话评分良好但仍表明产品有问题——正是团队在发布任何产品前试图通过构建全面评估套件来解决的问题。Chase表示这种方法行不通。

“我们有时看到团队几乎陷入评估瘫痪，”Chase说，”他们会想，这是一个评估集，我不能发布它。最好的团队先发布，然后不断迭代。”

Chase将评估标准描述为一个动态规格，而非一次性测试套件：产品需求文档——定义应用程序应做什么的标准软件开发规格。”评估就像是新的PRD，”他说，”它们定义了你的智能体应该做什么和不应该做什么。”

Turlay从另一个角度描述了同样的失败。”我试图达到测试的100%覆盖率，但生产环境中仍然存在漏洞，”他说——一个看似完整但忽略了重要问题的测试套件，这正是Chase用评估描述的差距。

他说，广泛且持续不断的监控比全面的发布前测试套件能捕获更多真实的故障。团队应首先建立广泛的在线检查，利用这些检查识别出现的故障类别，然后围绕出现的问题构建有针对性的离线评估集。

为何单独评分轨迹是错误做法

即使是精心构建的评估过程也可能评错对象。Zhang反对大多数团队运行评估的方式：采样轨迹，无论是50条还是全部，单独评分。这种方法忽略了只有在将用户群体与基准对比时才会出现的信号，Zhang称之为对比分析。

Zhang用一个零售例子来说明：购物者询问智能体关于半程马拉松的跑鞋，智能体提出问题，购物者购买了一双鞋。单独评分时，这次互动看起来没问题。但在整个用户群体中，该鞋类的澄清比例——智能体在完成任务前提出多少后续问题——比基准高三倍。第二个指标，购物者在对话外完成购买的比例，同一类别比基准高五倍。

这两个数字从单条轨迹中都无法看出。两者都指向可调试的、特定类别的问题。Zhang表示，行业也缺乏第二个数据源：对话之前、之间和之后发生的事情，而不仅仅是轨迹本身。

按需定制评判模型

一旦对比分析指出哪些类别确实存在问题，下一个问题是什么来监测它——以及成本如何。Turlay的规则是从最可用的强大模型开始，证明任务是可解决的，然后再逐步降低。如果顶级模型无法完成，他说，较小的模型也无法完成。一旦某种模式被证明可行，团队可以对一小部分流量进行采样，而不是评估每次互动，并将像二元分类这样的简单任务转移到更小的开源模型上。

LangChain更进一步，微调了自己的模型来检测用户何时认为智能体犯了错误，Chase称之为感知错误。”我们微调的模型是Qwen模型，”他说，指的是阿里巴巴的开源模型系列。结合人工标注和蒸馏，结果表现良好。”与[Claude]Sonnet相当，取决于我们如何部署，成本降低了10到100倍，”Chase说。

并非所有护栏都需要模型。Chase以Claude Code自己的护栏为证：正则表达式，在代码中查找和验证模式的常见编程技术。”他们拥有的大部分护栏只是正则表达式，”他说，”它们不是小型LLM，只是正则表达式。”

LLM评判不意味着人类监督消失

更大的问题在于使用LLM作为评判者是否还需要人类监督。

Turlay提到了责任问题，借鉴了他之前在一家自动驾驶汽车公司的工作经验。他的团队将数据摄取和重新训练压缩为两周周期，以便将新模型部署到汽车中。即便如此，仍然需要有人签字批准。

“我代表公司有信心地说这个模型应该进入汽车，”他说。同样的逻辑也适用于法律、金融和医疗领域。”在我们能够移除人类并说’我认可这个，并对其法律责任负责’之前，智能体还需要一段时间才能独立完成这些工作。”

Zhang认同人类必须在边缘情况下保持守卫角色，即使自动化最终在规模上超越个人人类的准确性——机器可以在模式层面看到更多。

Chase更进一步：人类检查不仅是安全网。”人类监督对于构建对这些智能系统如何工作的信任非常重要，对于系统的记忆和学习也非常重要，”他说，”系统必须通过互动来学习。”

关注微信号：智享开源 ，及时了解更新信息。

推荐阅读

苹果诉OpenAI：硬件计划会受阻吗？

科技巨头间的法律博弈 近期，苹果公司对人工智能领域的领军企业OpenAI提起了商业秘密诉讼，指控后者存在系统性不当行为，…