AI失误引发信任危机，八成企业加速自动化部署
信任度上升，失误率未减
最新研究表明，尽管企业对自动化评估的信任度普遍提升，但那些已经因AI智能体通过测试却在实际应用中出问题而遭受损失的企业，非但没有放慢步伐，反而加速了减少人类参与部署决策的过程。
在7月份的一项调查中，108家受访企业中有13%表示信任自动化评估，相比上个月仅5%的比例有了显著提升。与此同时，将测试与现实世界结果不一致视为最大担忧的受访者比例从29%下降到19%，减少了10个百分点。
然而，数据也揭示了另一个令人担忧的事实：49%的受访者表示，通过公司测试的AI智能体或基于大语言模型的功能后来造成了客户可见的问题，这一比例与6月份的50%基本持平。更令人不安的是，近四分之一(24%)的企业表示这种情况已经发生了不止一次。
经验塑造态度：经历过失败的企业更不信任自动化
调查中最显著的分化出现在不同经验的企业之间。数据显示，经历过测试通过的智能体在实际应用中让客户失望的企业中，仅有4%对自动化检查表示完全信任；而在没有类似经历的企业中，这一比例高达24%，相差六倍。
这种态度差异是合理的：那些亲历过测试通过的智能体在生产环境中失败的企业，自然会质疑自动化检查过程的有效性。
这也解释了为什么专注于解决此问题的企业，如自动化智能体错误监控和缓解平台Raindrop.ai，在短短几个月内就看到了市场的剧烈变化。
“我们正在见证我们所知的评估方式的急剧衰落，”Raindrop首席技术官Ben Hylak表示。”财富100强企业正在不断减少评估集合并降低其优先级。随着系统变得越来越复杂(如MCPs、子智能体等)，完全列举所有失败案例已变得不可能。相反，他们越来越依赖异常和问题检测解决方案，无论是在生产之前还是之后。”
从经验到行动：受挫企业更倾向全自动化部署
调查揭示了一个反直觉的发现：企业在经历评估失误后的反应。总体而言，67%的企业要么允许智能体在某些低风险情况下无需人工批准即可推送代码或更改系统，或者正在修改其流程以在未来一年内支持这种做法，这一比例与6月份持平。
然而，在经历过测试通过的系统让客户失望的企业中，高达85%正在追求无需人工批准的部署模式，而在报告没有类似事件的企业中，这一比例为61%。只有11%的受挫受访者拒绝在未来几年内实现端到端部署自动化，相比之下，未受挫受访者中有24%持此态度。
这一数据可能被解读为鲁莽行为，但数据支持另一种合理的解释：部署成熟度。运行更多智能体、更大规模并跨越更关键工作流程的组织，更有可能同时遭遇失败，并拥有支持自动化部署所需的工程基础设施。
自动化评估与生产监控的脱节
部署前评估和生产监控回答不同的问题。评估询问智能体是否准备就绪可发布，而生产监控则关注智能体发布后的表现及其输出是否仍然正确。
尽管大多数企业仍在强调系统功能是否按预期工作，但生产质量监控仍然滞后，这可能导致问题在影响客户之前未被及时发现。
随着企业越来越依赖AI智能体，建立强大的生产监控系统将成为确保长期可靠性的关键。那些已经经历过失败的企业尤其需要认识到，自动化评估虽然重要，但不能完全替代持续的生产监控和人工监督。
在人工智能技术快速发展的今天，企业需要在效率与风险控制之间找到平衡，既要拥抱自动化带来的便利，也要保持足够的人工监督和干预能力，以确保AI系统的可靠性和安全性。
关注微信号：智享开源 ，及时了解更新信息。
公众号：智享开源
还没有任何评论，你来说两句吧！