AI智能体自主性增速超企业验证能力

在企业AI领域，一个令人担忧的趋势正在形成：团队赋予智能体越来越多的自主权，与此同时，他们对自动化测试的信心却在急剧下滑。

根据2026年6月VB Pulse对157家拥有100名以上员工的企业受访者的调查显示，半数企业已经部署了通过内部评估但仍然导致客户失败的AI智能体或大语言模型功能，其中四分之一的企业甚至经历了不止一次这样的失败。

需要注意的是，该调查采用的是自选样本而非概率样本，因此研究结果应视为方向性参考，而非精确数据。

然而，企业并未因此减缓自动化进程：66%的受访者已允许某些生产环境部署无需人工审查，或计划在未来12个月内构建这样的系统。仅有5%的受访者表示他们完全信任那些能够做出发布决策的自动化评估。

这种不匹配构成了所谓的”评估鸿沟”：智能体的自主性上限提升速度超过了其保障能力提升的速度。

这也契合了一个更广泛的观点，将在VB Transform 2026大会上进一步探讨：企业优先部署智能体，而围绕身份、评估、成本、上下文和编排的控制层则随后到来。未来一年将进入一个改造周期，采购方将预算转向那些使智能体部署可管控和可靠化的系统。

为何通过评估的智能体未必能正常工作

传统软件测试通常关注特定输入是否能产生预期输出。而智能体测试更为复杂，因为系统可能自行选择步骤序列、调用工具、检索数据、改变状态，并且每次运行的表现可能不同。

一个智能体可能做出多个看似合理的决策，但仍导致错误结果。它可能检索到正确的账户但更新了错误的字段；可能起草了有效的退款请求但未经批准就发送；可能在成功调用五个工具后，第六步泄露敏感信息或导致工作流程不完整。

调查显示企业已经认识到这一局限性。29%的受访者表示不信任自动化评估的主要原因是与现实结果不一致，其次是偏见或不一致性（21%）、缺乏可解释性（18%）和数据泄露或隐私问题（17%）。

这一层级关系很重要。企业表示，智能体评分往往无法预测当客户、员工或业务流程在生产环境中遇到智能体时会发生什么，而非自动化评分过程太慢或太昂贵。

美国国家标准与技术研究院（NIST）在其生成式AI档案中提出了类似观点：在受控环境中收集的测量数据可能无法完全转化为部署环境，因为行为会随着提示、用户、上下文和操作条件的变化而改变。其指导建议进行现场测试、部署后监控以及明确的故障升级流程。

能力不等于一致性

单次成功运行证明智能体能够完成任务，但无法证明它能可靠地完成该任务。

Anthropic关于智能体评估的指导区分了两种情况：衡量系统在多次尝试中至少成功一次，以及每次尝试都成功。这种区别对于面向客户或运营的工作流程至关重要。如果一个模型偶尔能产生优秀答案，但同一任务在下一次尝试时可能失败，那么它仍然不可接受。

因此，企业团队应将可重复性视为一级指标。这意味着多次运行相同场景，变化措辞和上下文，测试工具故障，并衡量即使路线改变，最终业务结果是否仍然正确。

评估集也需要不断演进。每次生产事件都应成为永久的回归测试。客户升级、失败的工具调用、错误的批准和数据处理的错误，都应反馈到预部署测试套件中，而不是作为孤立的支持案例。

自主性应根据风险而非雄心扩展

这项调查并不意味着每个智能体行动都需要人工参与。人工审查无法扩展到数百万个低后果决策。

但零人工操作应通过证明的可靠性来获得，并受失败后果的限制。

起草内部摘要或分类文档等低风险行动可以容忍更广泛的自主权。而金融交易、客户沟通、代码部署、访问控制变更和数据删除等需要更严格的阈值、重复的一致性测试、政策检查、回滚机制以及明确的人工升级路径。

风险分布并不因公司规模而均匀。拥有2500名以上员工的大型企业在向零人工部署方面进展最快（70%），而较小公司这一比例为64%，同时他们部署的智能体在客户面前失败的比例也更高（54%对比48%）。

这是对企业领导者的警示。将人类从循环中移除并不会消除不确定性。在没有更强保障的情况下，它将不确定性转化为自动化生产决策。

市场将继续推动更大的自主性，因为经济激励是真实存在的。最有优势的组织不会是最快去除人工的组织，而是那些将可重复性和回归测试与部署速度同等重视的组织。

关注微信号：智享开源 ，及时了解更新信息。