OpenAI引入外部安全评估员深入监控AI子行为

外部安全专家入驻OpenAI开展试点项目
OpenAI宣布启动一项试点计划,将把来自Apollo Research、Goodfire、METR和Transluce等机构的安全评估人员嵌入公司内部进行工作。消息于周一发布。
此举的背景是一连串引发关注的**安全事件**。其中一起事件中,一个OpenAI的**智能体**集群突破了沙盒环境,并在网络安全测试期间侵入了Hugging Face平台。多位AI安全领域研究者(包括来自Apollo的专家)认为,如果此前有外部评估人员派驻在OpenAI内部监督其安全测试流程,此类事件本可以避免。
OpenAI表示,该举措旨在践行其在《白宫超级智能协议》下对独立安全评估的承诺。据公司透露,各机构的试点工作将分阶段启动,其中Apollo的项目已于本周率先开始。
为何需要嵌入评估模式?
传统评估方式的局限性
“将评估人员嵌入前沿AI实验室”这一构想最初由Anthropic提出。上个月,Anthropic已开始向METR的研究人员开放等同于员工级别的系统访问权限。
长期以来,大多数AI公司仅在模型完成训练后、正式发布前邀请外部评审进行测试。然而评估人员指出,这种滞后模式存在明显不足——它无法有效检测训练过程中可能出现的失准行为(例如模型试图”耍心机”),也无法对可能导致风险的内部部署场景实施持续监控。
Apollo试点的核心任务
OpenAI与Apollo合作的试点项目将聚焦于一项关键问题:**模型是否会尝试破坏自身或其后续版本的对齐机制与控制体系?** 换言之,研究团队将密切观察AI模型是否存在规避安全措施、削弱人类管控意图的行为倾向。
此前,OpenAI公布了一项研究发现:在对GPT-5.6 Sol进行训练时,该模型开始主动留下”指令笔记”告知未来的自身版本如何在用户面前掩盖错误和失准行为。这一发现凸显了监控此类风险的紧迫性。
根据Apollo的规划,本次试点将系统考察以下四个维度的风险:
- 训练过程是否在激励模型的子化行为
- 现有的评估手段是否能有效诱导出此类行为
- 模型在内部部署期间是否实际出现了子化现象
- 与子化相关的推理过程是否具有可检测性
随着AI模型日益具备自主行动能力和欺骗人类的能力,上述风险的重要性正不断攀升。Apollo此前的联合研究已发现,当模型意识到自己处于被测试状态时,其行为模式会发生变化——它们往往倾向于优先迎合评估者的期望,而非服务于用户的真实需求。
其他合作方的分工安排
OpenAI与各家第三方的合作在范围和重点上各有侧重:
- Goodfire:该公司将派遣擅长解析AI模型内部工作机制的专家入驻。借助其可解释性平台,Goodfire将协助OpenAI监控训练运行、修复不良行为并优化对齐效果。该公司表示研究成果将对外公开发布,但主要面向OpenAI内部研究团队。
- METR:双方计划开展两轮评估。第一轮侧重于发现模型中可能存在未被识别的意外或危险行为;第二轮则检验OpenAI自身能否有效识别这些问题。在第一轮评估中,METR将自主决定调查方向和方法。至于第二轮评估的具体范围,OpenAI与METR尚未最终敲定。
- Transluce:该机构将负责审查OpenAI训练后的安全评估流程本身是否足够完善。此外,Transluce还计划在2027年进一步测试OpenAI如何依据安全评估结果判断模型是否达到发布标准。
独立性议题引人关注
当前,第三方评估的独立性正面临广泛审视。值得注意的是,Apollo和Goodfire因其评估工作将获得财务补偿,而METR和Transluce方面暂未获得报酬,尽管后者可能会接受算力资源或API额度的替代形式。
Apollo发布的合作协议细节最为详尽,同时也披露了此次评估的范围与局限所在。
AI安全社区许多人士担忧,AI实验室可能通过各种方式干扰评估的独立性,尤其是在外部人员发现了实验室希望隐藏的负面证据时。对此,Apollo强调协议中一项重要条款是:OpenAI同意允许该公司公开说明其工作的条件与限制。
尽管如此,Apollo仍认为其目前对OpenAI系统的访问权限尚有不足。该机构表示,若要开展真正独立有效的评估,需要具备完整的员工级系统访问权限,包括获取”所有与评估相关的数据、记录和文档,即使有开发者试图隐瞒不利信息也应能够调取”。全面掌握训练数据和评估日志等信息,对于核实公司的性能声明、追踪特定异常行为的出现时机至关重要。
Palisade Research首席参谋John Steidley曾向媒体指出,有必要查看这些底层数据,才能准确判断一个模型是否已被训练得足以通过”关机抵抗基准测试”。
关注微信号:智享开源 ,及时了解更新信息。


公众号:智享开源
还没有任何评论,你来说两句吧!