AI失误促使企业减少人工干预
AI失误引发信任危机，企业加速自动化部署
最新调研显示，那些已经因AI智能体通过评估但在生产环境中失败而遭受损失的企业，正更快地转向减少人工干预，而非放慢这一进程。与此同时，对自动化评估的信任度正在全面上升。
评估信任度上升，但问题依然存在
7月份，在108家受访企业中，13%表示信任自动化评估，较前一月的5%大幅提升。与此同时，将测试与实际结果不匹配作为最大顾虑的受访者比例下降了10个百分点，从29%降至19%。
然而，49%的受访者表示，通过公司测试的AI智能体或LLM功能后来产生了客户可见的问题，这一比例与6月份的50%基本持平。近四分之一(24%)的受访者表示这种令人不安的情况发生了多次。
评估差距扩大，信心与证据脱节
最新调研发现揭示了企业智能体部署的更令人担忧阶段：差距不再仅仅在于企业给予智能体的自主程度与验证能力之间，而是 increasingly 转向对评估层信心与该层防止失败能力证据之间的差距。
7月数据中最具揭示性的分化出现在内部数据中。在经历过测试通过的AI功能最终让客户失望的企业中，只有4%对自动化检查抱有完全信心。而在未发现类似事件的企业中，24%表达了完全信心——相差六倍。
这很合理：那些经历过测试通过的智能体在生产环境中失败的企业，对自动化检查过程持怀疑态度的可能性更高。
经历过失败的企业更倾向零人工部署
一个看似矛盾的发现是企业在评估失误后的做法。总体而言，67%要么在某些低风险情况下允许智能体推送代码或更改系统而无需人工批准，要么正在修改其流程以在未来一年内支持这一做法，这一比例与6月份持平。
然而，在经历过测试通过的系统让客户失望的企业中，85%正在追求这种无需批准的模式，而在报告没有类似事件的企业中，这一比例为61%。只有11%的”被烧伤”受访者拒绝未来几年的端到端部署自动化，而未经历类似问题的受访者中这一比例为24%。
这可以简单地解读为鲁莽，但数据支持另一种合理的解释：部署成熟度。运行更多智能体、更高产量以及跨越更关键工作流程的组织，更有可能同时遭遇失败并拥有自动化部署所需的工程基础设施。
自动化部署领先，生产质量监测滞后
部署前评估和生产监控回答不同的问题。评估询问智能体是否准备好发布，而生产监控则询问智能体发布后的行为及其实时输出是否仍然正确。
7月份样本中的大多数公司仍然关注系统是否按预期运行，而非关注系统如何运行或何时偏离预期轨迹。在107份完整回复中，只有16%将生产监控视为评估的核心组成部分，另有23%将其视为辅助组成部分。
关注微信号：智享开源 ，及时了解更新信息。
公众号：智享开源
还没有任何评论，你来说两句吧！