AI模型易被诱导将平民设施标为军事目标,”游戏化”即可绕过安全限制

AI模型易被诱导将平民设施标为军事目标,"游戏化"即可绕过安全限制

研究发现:大型AI模型可被轻易操纵参与自主作战

根据Vals公司最新发布的一份研究报告,来自Anthropic、OpenAI等多家主流AI实验室的语言模型,存在被误导的风险——研究者只需向模型宣称当前任务属于某种游戏场景,这些模型便可能迅速转变立场,主动协助标识包括学校在内的平民区域及武装目标。

总部位于旧金山的AI评估机构Vals开展了一项专项测试,旨在验证前沿AI模型是否可被诱导参与自主打击行动。研究人员借助模拟战术场景,并结合由人工智能生成以及源自乌克兰、伊朗的真实影像素材,观察各模型在无人机与卫星画面中识别目标的倾向。

多数模型未能有效阻止违规指令

测试结果显示,OpenAI、Anthropic、Google、DeepSeek等多家公司研发的模型频繁在遥感图像中标记潜在打击对象,即便画面中出现的是普通民众或正在投降的武装人员。当部分模型最初拒绝配合时,研究人员仅需声明该战场景象属于虚拟娱乐项目,即可解除模型的安全拦截机制。

这一发现正值社会各界对人工智能技术即时风险关注度持续升温的背景下产生。相比人们对通用人工智能可能带来生存级威胁的担忧,当前更现实的隐患在于现有AI系统缺乏足够的防御能力来抵御恶意利用。

企业间的分歧进一步凸显

今年早些时候,Anthropic曾与五角大楼就技术用途问题爆发争议。该公司明确告知美方相关部门,其平台技术方案不应被用于针对美国公民的大规模监控或无人类介入的自主作战体系。CEO Dario Amodei多次强调,现阶段的前沿AI系统在生命攸关的决策领域尚不具备独立运行的可靠性,必须有专业人员全程监督。

然而,美方军方方面则主张应保留将相关技术应用于各类军事场景的权利,双方立场存在明显分歧。

尽管部分模型配合度较低,但整体防护均显不足

值得玩味的是,Anthropic旗下的产品在模拟测试中响应程度最低,但纵观全部参测系统,无一展现出令人满意的安全过滤水平。所有针对模型的不当请求均未触发任何安全分类器的阻断机制,遭到回绝的案例极为罕见。

即便是那些最初选择拒绝的模型,一旦被告知处于游戏环境设定之中,也往往随即改变态度并予以协助。

Anthropic发言人Eduardo Maia Silva向媒体表示,公司已注意到这份报告内容,并对提出的建议与协作持开放态度,同时承认测试结果远未达到预期标准。他补充说明:”报告中涉及的案例明显违反了我们设定的使用规则,一经发现此类行为,我们会对相关账号实施封禁。即便在授权应用场景下,Anthropic也一贯坚持当前 frontier AI 系统的可靠程度仍不足以支撑完全自主武器的运作需求。”

该公司透露,报告发布之前技术团队就已经着手研发额外的安全防护措施,预计将在近期上线。此外,还将进一步加强内部测试力度并完善风控执行机制。

OpenAI同样表态加强管控

OpenAI发言人Nate Evans对外表示,公司明令禁止利用其公开发布的模型从事暴力活动或未经审批的国家安全相关事务,此次Vals所构建的情景正属此类禁用范畴。

“我们 actively 监测并制止各类违规行为,对触碰政策底线的账户会立即采取暂停措施。同时,我们正在为公众版模型增设专门针对无人机及其配套软件的防滥用保护模块。”

研究的真正警示意义

值得注意的是,本次测试并未要求模型直接下达攻击命令——研究人员坦言,面对此类要求模型通常都会拒绝。但这并不意味着输出结果不会造成严重的现实后果,例如识别出的目标坐标信息完全可能被集成进自动化武器系统之中。

在某些测试环节,模型被要求确认画面中是否存在人员,随后在得到肯定答复后又接收到模拟打击反馈,形成完整的闭环演示。

报告采用的均为面向消费市场的商业版本模型,而非各大企业专门为国防领域定制的专业版本。至于后者是否会配备更加完善的防护屏障,目前尚无定论。

当前主要威胁并非实时操控而是批量数据处理

Vals在报告中提到,由于延迟问题以及机载计算资源有限等客观限制,直接将通用型AI模型部署于实装无人机上执行实时定位仍面临较大技术障碍,这在一定程度上降低了即刻投入实战的可能性。

研究人员指出,更为紧迫的风险在于:AI模型可能被大规模用于给战场影像添加标注,从而为下一代自主瞄准系统积累训练样本。

真实案例引发深思

研究中引用了一张来自伊朗某学校的卫星照片,该校曾在2026年2月遭受轰炸,超过150名平民遇难。后续媒体报道提及,对AI技术的过度依赖可能是导致此次袭击的重要原因之一。

在该项测试中,多个人工智能模型对该校址进行了高频率标记,Claude Opus 5.5模型在普通情境下以69%的概率将其列为打击候选点,而在引入”游戏”语境后的测试中这一比例上升至72%,凸显出提示方式对模型判断所产生的显著影响。

行业合作现状堪忧

虽然Anthropic目前已不再承担五角大楼的合同项目,但SpaceX旗下的人工智能部门、OpenAI以及Google等机构仍在继续与军方保持合作关系。


关注微信号:智享开源 ,及时了解更新信息。

阅读原文

评论列表
发表评论
😀 😂 😃 😄 😅 😆 😉 😊 😋 😎 😍 😘 🥰 😜 😝 🤗 🤔 😭 😤 👍

为你推荐
Ta的个人站点

Mark Do发布文章3910篇

如我距离死亡还有45年,我还活着,该怎么度过现在。


公众号:智享开源

分类