亚马逊专家:AI智能体可靠性决定企业采用成败

企业AI领域正面临一个数学难题。思科数据显示,85%的企业正在试点AI智能体,但仅有5%将其投入生产。在近日举行的VB Transform 2026大会上,亚马逊AGI自主性总监布莱恩·西尔弗索恩(Bryan Silverthorn)解释了这一差距持续存在的原因——而答案并非仅仅在于更好的基准测试。
西尔弗索恩通过亚马逊收购Adept AI加入亚马逊,目前领导该公司AGI实验室中的多模态智能体训练。他认为,可靠性必须分解为四个不同维度:一致性、鲁棒性、可预测性和安全性——这一框架他归功于普林斯顿大学的研究。
“它解开了我在几乎每次评估中看到的各种纠缠在一起的因素,”他说。
为什么AI智能体通过内部评估却在实际生产中失败客户
这一框架之所以重要,是因为智能体常规性地通过内部评估,然后在现实环境中崩溃。西尔弗索恩描述了一个客户案例:他们部署了一个用于软件质量保证的智能体,涉及从屏幕中提取序列号。它完美运行了两个月——然后开始间歇性地读取错误的数字。罪魁祸首是底层的视觉编码器根据序列号在屏幕上的位置表现不同,而一个人类难以察觉的软件变更触发了故障。
西尔弗索恩表示,教训在于测量,而不仅仅是模型。”模型必须更好。显然,我们正在努力改进模型,”他说。但他补充说,更深层的心得是,团队需要识别他们的可变性维度,并将测量的严格程度与应用的风险相匹配。在会议前发布的VentureBeat专有研究强化了这一观点:一半的受访公司部署了通过内部评估但无法满足实际客户需求的智能体,而企业普遍关注正常运行时间却忽视准确性——检查脉搏却不检查诊断。另一项发现强调了防护措施的缺乏:大多数企业默认采用模型制造商自身的评估,几乎没有其他措施,使他们的测试策略正如我在舞台上描述的那样,介于信任供应商和信任什么都不做之间的一个随机选择。
亚马逊管理自主AI智能体的”实习生”框架内幕
西尔弗索恩最具启发性的建议是文化层面的,而非技术层面的。在亚马逊的AGI实验室中,研究人员实际上将他们的智能体称为”实习生”——就像说”我会让我的实习生和你的实习生交流”。这个玩笑背后蕴含着严肃的运营理念。智能体就像实习生一样,功能强大但偶尔会显得茫然,能够完成惊人的工作,也可能导致灾难性的脱轨。
管理它们,他认为,需要的是管理技能而非软件技能:思考可能出错的地方,添加备份和撤销功能,并有意识地决定可以接受的风险。”你可以问实习生,’嘿,你在这里可能会做错什么?你如何减轻负面结果?'”他说。亚马逊的实验室已经接受了这种权衡,为了研究速度,偶尔接受智能体运行错误实验——包括一个智能体根据其高级研究计划自主全天候运行实验。
企业领导者在大规模部署智能体前应该做什么
西尔弗索恩坦诚地承认当前技术的局限性。自我改进的AI仍然是”一个充满炒作的术语”,他说——亚马逊正在不断使用AI改进其模型,但完全自主的自我改进仍然遥不可及。计算机使用仍然是他实验室的核心关注点,一家商业卡车运输客户已经使用浏览器自动化来跨碎片化系统整合保修索赔,尽管他强调未来的智能体不会仅依赖计算机使用——它将与MCP、API和其他工具协同工作,以完成端到端的工作流程。而LLM作为评判者的技术,虽然前景广阔,但只是将智能体能力与可接受风险对齐的几种策略之一。
对于那些陷入试点困境的企业,前进的道路始于思维转变:停止询问你的智能体是否能一次性完成令人印象深刻的事情,开始询问它是否能连续一千次正确地完成它。
换句话说,能够突破85%天花板的那些企业,将不是拥有最智能智能体的企业,而是拥有最佳管理者的企业。
关注微信号:智享开源 ,及时了解更新信息。


公众号:智享开源
还没有任何评论,你来说两句吧!