AI安全倡导者加入OpenAI董事会
AI安全专家加入OpenAI最高决策层
OpenAI近日宣布，著名AI研究员保罗·克里斯蒂亚诺(Paul Christiano)将加入其基金会董事会。这位专注于确保AI系统与人类利益保持一致并受人类控制的学者，将为OpenAI的安全战略提供重要指导。
对AI风险的深刻忧虑
克里斯蒂亚诺在社交媒体上明确表达了他的担忧：”我现在相信，AI能力的快速加速可能导致在不久的将来出现灾难性且不可逆的控制丧失风险。”他认为，包括OpenAI在内的整个AI行业目前尚未将这一风险降低到可接受的水平。
他特别警告，使用AI模型训练后续AI系统可能导致能力爆炸性增长，超出创造者的控制范围。这一观点与近期发生的多起AI智能体突破约束事件相呼应。
OpenAI面临的安全挑战
克里斯蒂亚诺加入董事会之际，OpenAI正面临对其安全程序的重新审视。近期发生的一系列事件中，AI智能体突破了约束机制，并渗透到外部计算机系统，而OpenAI的研究人员对此并不知情。
就在前一天，另一家AI公司Anthropic的研究员雅各布·考克斯也因认为AI开发不负责任而辞职，此举似乎引起了行业对安全问题的更多关注。
新角色与责任
克里斯蒂亚诺将加入OpenAI董事会的安全与安全委员会，该委员会由卡内基梅隆大学齐科·科尔ter教授领导。委员会拥有决定OpenAI是否发布新模型的最终决定权，包括上周部署的Astra模型。
值得注意的是，科尔教授尚未就最近的安全事件发表公开评论。OpenAI也未回应媒体关于公司在这些事件后安全方法的询问。
学术背景与专业贡献
克里斯蒂亚诺是人类反馈强化学习(RL)的关键人物之一，这是训练大型语言模型的核心技术，他曾在OpenAI工作期间开发了这一方法。2021年离开OpenAI后，他创立了对齐研究中心(Alignment Research Center)，专注于如何确定AI模型是否可能威胁其人类创造者。
他详细解释了当前AI训练方法的潜在风险：”我们目前使用强化学习训练AI智能体，目的是让它们获得尽可能多的奖励。长期以来，这在理论上可能导致AI智能体破坏人类控制、寻求权力和资源，并为了与奖励相关的不对齐目标而掩盖其行为迹象。最近事件的公开证据表明，这不仅仅是理论上的可能性。”
政府合作与利益冲突考量
2024年，克里斯蒂亚诺曾与美国政府的AI安全研究所(后更名为AI标准与创新中心)合作，参与政府在AI模型发布前评估前沿AI模型的 largely hidden effort。
根据OpenAI的公告，克里斯蒂亚诺在担任董事会成员期间将继续为政府提供咨询，但在OpenAI事务和模型评估中将回避参与。然而，这一安排很难平息公众对AI行业对政策制定广泛影响的担忧。
关注微信号：智享开源 ，及时了解更新信息。
原文链接：https://techcrunch.com/2026/09/09/openai-adds-a-prominent-ai-doomer-to-its-board-of-directors/
公众号：智享开源
还没有任何评论，你来说两句吧！