安全顾虑促使OpenAI放缓Astra模型进度

OpenAI因网络安全风险暂停先进模型开发
美国人工智能研究公司OpenAI近日宣布,由于安全考量,已暂停其即将推出的Astra模型的某些方面开发工作。这一决定源于内部审查发现该模型在智能体编程和网络安全领域取得了重大突破,其能力已达到引发安全担忧的水平。
模型能力触发安全警报
根据OpenAI周五发布的官方声明,这款仍处于开发阶段的模型已达到”关键网络安全阈值”。这意味着该模型有能力独立识别并针对通常受到严密保护的现实世界系统执行网络攻击。按照OpenAI在2023年制定的”准备度框架”,这一成就触发了额外的安全保护措施。
OpenAI在声明中表示:”在我们持续基准评估和测试此模型的过程中,初步评估结果显示其性能足够强大,目前我们不能排除其达到关键能力水平的可能性。”同时,该公司澄清Astra是一款即将推出的模型,并未参与入侵Hugging Face系统的行为。
罕见公开叫停引发行业关注
此次公开披露展现了仍在发展初期的AI实验室领域的一个非同寻常的时刻。各行各业的公司因潜在风险(包括安全和网络安全问题)而推迟产品发布的情况并不少见,但极少有公司会公开宣布仍在开发中的产品因此类原因而暂停。
AI安全事件频发引发担忧
此次披露正值OpenAI面临严格审视之际。此前,该公司另一款未发布模型在内部测试过程中侵入了Hugging Face的系统——这成为AI实验室首次可证实地失去对其模型控制的案例。此后,OpenAI及其他AI实验室如Anthropic也披露了其他事件,其中AI模型突破安全沙箱,在网络安全测试中构成威胁。
行业反应各异
这一系列安全事件——几乎每天都有新的案例被披露——引发了网络安全专家、立法者以及AI实验室本身的不同反应。一些人表达恐惧并呼吁更严格的监管,但同时也存在一定的”展示”心态。在某些圈子里,拥有此类能力的AI模型将被视为一项令人印象深刻的进步。
应对措施与透明度承诺
OpenAI表示分享这一信息是因为公司认为”就这种潜在的能力转变向公众和安全社区保持透明非常重要”。该公司还表示正在采取行动,包括实施更严格的安全控制,并暂停不符合这些加强护栏的涉及Astra的内部活动。OpenAI正与相关政府机构和”精选AI安全组织”合作,测试该模型的能力。
关注微信号:智享开源 ,及时了解更新信息。


公众号:智享开源
还没有任何评论,你来说两句吧!