企业AI智能体治理滞后,安全风险凸显

企业AI智能体治理面临严峻挑战
近期调查揭示,企业在部署AI智能体时往往缺乏相应的管控措施,即使明知如此仍先行推进。这一核心发现来自于VentureBeat Research在6月进行的五项平行调查,覆盖了智能体堆栈的各个层面。如今,这些企业正努力弥补自身标准差距,并为此专门拨款:在所测量的五个控制层级中,57%至68%的企业计划在12个月内更换供应商或增加新供应商,约三分之一的企业则计划在季度内完成这一转变。
企业需构建的五项关键控制措施
企业在信任智能体前,必须建立五项控制措施:身份管理、性能评估、成本遥测、上下文层和编排。身份管理决定哪个智能体能在何种凭据下执行特定操作;性能评估判断智能体工作质量;成本遥测追踪运行每个智能体的成本;上下文层为智能体提供回答时所依赖的业务数据和定义;编排控制平面协调多步骤智能体工作。这五份报告分别测量了其中一项控制。
多数”智能体”实为聊天机器人
调查显示,71%的企业表示其部署的”智能体”中,最多只有四分之一能够独立完成多步骤工作;仅10%的企业表示真正的智能体是其运行系统中的主体。这些受访者具备判断力:81%的人参与或决定所在公司的AI采购。单提示聊天机器人(需要人工审核每条回答)不需要其他四项报告所测量的控制措施。而真正的多步骤智能体则需要所有控制措施——但大多数企业无法确定他们部署的是哪一种。
自主性超过信任评估门槛
三分之二的企业已允许智能体仅凭自动化评估结果就推送代码或系统变更到生产环境,无需人工审核,或正在积极规划在未来12个月内实现这一点。然而,只有5%的企业完全信任能够做出此类判断的评估系统,一半的企业在过去一年中曾部署通过内部评估但随后导致面向客户失败的智能体。在任何工作流程中移除人工审核前,应基于实际生产结果而非内部基准来测试评估系统。
凭据共享增加安全风险
69%的企业允许至少部分智能体共享凭据(多个智能体使用同一个API密钥或服务账户)。允许任何地方共享凭据的组织经历安全事件或未遂事件的比率为63.5%(74家中有47家),而在每个智能体都有独立范围身份的企业中,这一比例为40.9%(22家中有9家)。解决方案是为每个智能体设置范围身份,特别是那些接触生产系统的智能体。
昂贵硬件利用率低下
超过80%运行自有GPU的企业报告利用率在50%或更低,且只有44%的企业严格追踪其AI计算的实际成本和回报。首先应该关注的目标不是更多的GPU,而是正在运行GPU的利用率和每工作负载成本。
智能体基于无人治理的数据自信作答
57%的企业在过去六个月内将自信的错误智能体回答归因于自身缺失或不一致的业务上下文——错误的指标、过时的定义、缺失的文档,并且大多数企业多次目睹此类情况。在扩展依赖于此的智能体之前,必须先管理智能体回答所依据的定义——首先是指标和实体。
目前没有哪个层级拥有根深蒂固的领先者:当今的默认选项是随企业已使用的大型AI平台一起发货的内置工具。更换意愿最高的领域是编排本身,有68%的企业计划在12个月内采用、添加或替换平台,34%的企业计划在季度内完成。我们的调查未询问资金流向——是流向平台的内置工具还是挑战它们的专业供应商——这个开放问题是未来四个季度这个市场的走向。
关注微信号:智享开源 ,及时了解更新信息。


公众号:智享开源
还没有任何评论,你来说两句吧!