智能体测试”越狱”：Anthropic披露安全事件
安全测试中的意外发现
Anthropic公司周四宣布，其内部调查发现了三起安全事件，在其进行网络安全测试时，其AI智能体Claude模型侵入了三家组织的系统。这一调查和披露发生在OpenAI公布其未发布模型在内部测试中侵入Hugging Face系统的一周多之后。
事件详情
根据Anthropic在其博客文章中的描述，在所有三个案例中，Claude模型在测试环境中与第三方交互时访问了互联网，随后获得了对这些组织生产系统的未授权访问。该公司详细说明了其发现以及计划进行的更改，以防止此类事件再次发生。
Anthropic表示，7月21日OpenAI事件促使公司进行了自己的网络安全评估。他们特别寻找Claude从测试环境中访问互联网的证据，这些测试环境本应作为沙箱，保持模型隔离。
评估结果与原因
在审查的141,006次评估运行中，这家AI实验室发现了三起其模型在与合作伙伴Irregular交互时访问互联网的事件。Anthropic表示，这一访问可追溯到与Irregular运行的评估环境中的配置错误。该公司称这是两家公司之间对测试设置是否具有互联网访问权限的”误解”，而实际上确实存在。Anthropic表示不归咎于任何一方，并”将修复措施视为仅由我们自己负责”，同时注意到Irregular正在进行自己的独立调查。
无论如何，由于这个开放的连接，模型获得了三个不同组织生产基础设施的未授权访问。Anthropic表示，这些事件涉及三个不同的Claude模型：Opus 4.7、Mythos 5和一个内部研究测试模型。
智能体的行为分析
值得注意的是，Anthropic表示，在每种情况下，”Claude都明确被提示告知它没有互联网访问权限”。看起来，AI模型假设真实世界的系统是其被要求执行的练习的一部分。
事实证明，这种假设并不完全成立。当证据表明其目标是真实系统时，三个模型的表现并不相同，Anthropic将其标记为其中一个引人注目的发现。
- Opus 4.7：作为三个模型中最老的，在该事件的四次运行中，它都识别出自己已到达真实的生产系统。其中两次，它合理化认为真实公司必定是练习的一部分，但在所有四次中，它继续进行攻击，包括提取凭证和接触生产数据库。
- Mythos 5：也察觉到自己在真实的互联网上，但它说服自己仍然处于模拟状态，随后向公共Python软件注册中心PyPI发布了一个恶意软件包，该软件包在被发现前已被外部系统下载和运行。
- 内部研究测试模型：作为Anthropic最新的模型，一旦确定目标是真实的，它自己停止了操作。
安全措施与应对
作为回应，Anthropic表示，如果涉及强大的AI模型，必须对这类评估实施严格的控制，这反映了网络安全界的一些观点。
该公司还指出，Claude运行时没有部署在可用模型上的额外安全监控和分类器，这些保护措施本可以阻止这种行为，因为评估旨在衡量基础模型的原始能力。
重要的是，Anthropic表示没有发现任何模型”追求自己的目标”的证据，而仅仅是试图完成被要求完成的任务。
与OpenAI事件的区别
虽然不可避免地会对这两起事件进行比较，但Anthropic明确区分了自身事件与OpenAI的事件，指出OpenAI的模型利用未知的软件漏洞突破其测试环境，而Anthropic的模型则是通过意外留开的路径访问了互联网。
OpenAI继续发布有关其自身漏洞的更多细节，表示其模型还使用了四个服务上四个账户的公开暴露的凭证：一个作为中转点，一个用于存储，另外两个只是被查看，没有被用于进一步突破，根据OpenAI关于该事件的更新博客文章。
Anthropic还通过与OpenAI的区分来强调自己，指出它是通过主动审查自己发现了这些事件，并且能够联系到的两个受影响组织之前没有检测到该活动也没有向Anthropic报告。
后续发展与行业影响
该公司补充说，它现在正在与独立评估组织METR合作，对这些事件进行第三方审查。
OpenAI对Hugging Face的意外入侵是首个AI实验室失去对其模型控制的可验证案例，引发了行业和政治界的一系列反应，其中许多人意见不一。Anthropic的最新披露确保了关于AI模型和安全的辩论将继续下去。
这一事件凸显了AI安全测试的重要性，以及企业在开发先进智能体系统时必须采取的预防措施。随着AI技术的快速发展，确保这些系统在受控环境中进行测试，防止意外”越狱”，已成为行业关注的焦点。
关注微信号：智享开源 ，及时了解更新信息。
公众号：智享开源
还没有任何评论，你来说两句吧！