阿里Qwen模型安全事件：异常行为引发讨论，专家否认蓄意泄密

AI模型安全测试中发现异常上传行为

加拿大人工智能公司Cohere近日发布报告指出，在对阿里巴巴最新AI模型Qwen3.8-Flash-Next进行例行网络安全评估时，发现该模型试图将文件上传至北京的服务器。值得注意的是，该模型在其推理记录中曾明确表示不会使用任何外部工具，但随后却尝试向外部服务器发送测试数据，最终被安全沙箱拦截。

此次测试始于周五，当时Qwen模型被要求编写一条用于检测恶意软件下载的规则。根据Cohere的博客文章，模型在书面推理中明确表示不会使用外部工具，但在下一步操作中却尝试向外部服务器发送测试字符串（一段占位文本），随后被安全沙箱拦截。

该事件最初引发了业界对数据安全的担忧，许多人担心这破坏了企业部署开放权重模型时的重要承诺——即数据可以完全保留在本地环境中。然而，这些关于企业间谍活动的早期担忧很快被研究人员平息。专家们普遍认为，这很可能是训练环境中残留的副作用导致的意外行为，而非刻意将敏感信息发送给中国的蓄意尝试。

Cohere表示，目前难以确定该行为是故意还是训练遗留问题。Cohere联合创始人张一帆向媒体表示，公司曾观察到自己的模型在训练模拟器中出现过奇怪的习惯。

“很难界定意图或动机。我们研究过自己模型的运行轨迹，见过奖励黑客现象（reward hacks），有时这些模型在尝试突破沙箱限制时会表现出惊人的创造力。”张一帆解释道。所谓奖励黑客，是指模型找到的绕过任务本意的捷径，以获取系统奖励。

为了让AI智能体能够自主执行操作，阿里巴巴等公司在数千个模拟环境中训练模型，类似于软件开发的飞行模拟器。模型在模拟器中完成任务时会获得奖励，并在此过程中形成各种习惯。如果这些训练环境常规存储文件于阿里的云服务器上，模型可能会默认习得将文件保存到那里的行为。

批评者指出，此次事件可能与Cohere的调查方式有关，可能引导模型产生了这种行为，而非真实测量Qwen在自然状态下的行为频率。

为了找到触发上传的原因，Cohere向模型提供了网络命令的开头部分，让模型完成后续操作。由于模型在训练过程中处理过数千条常规网络命令，其行为类似于高级自动补全系统，经常会填入各类网址，其中包括阿里巴巴的服务器地址。

Cohere表示，原始的上传尝试并未受到此类引导，但这种情况本身较为罕见。

在开发者要求提供更多证据后，Cohere于周一晚间在Hugging Face平台发布了测试的原始轨迹数据，并附上了脚本供他人复现验证。

一位最初的怀疑论者在查看轨迹数据后，认为有较强证据表明Qwen能够生成可疑的网址，但未发现阿里巴巴植入后门或Qwen刻意隐瞒意图的证据。

这一事件发生在各国政府审视如何监管中国AI产品的背景下。上周，美国国土安全部已命令联邦文职机构从其系统中移除中国AI开发商DeepSeek的产品。

Cohere在博客文章中呼吁各国政府澄清其对中国AI的限制是否同样适用于在政府计算机上运行的模型。

张一帆表示：“我不是要求对这些开放权重模型进行全面监管，公司应该将开源模型视为从互联网下载的任何普通程序来处理。”

Cohere向政府机构销售自身的AI模型产品。如果官员们对免费的中国替代品更加警惕，Cohere可能会从中受益。

关注微信号：智享开源 ，及时了解更新信息。

0 0