Sam Altman警示:绝不允许AI接管人类命运

坚持人类主导AI未来发展
OpenAI联合创始人兼首席执行官萨姆·阿尔特曼近日明确表示,人工智能技术的发展必须始终由人类来把控方向。他在周三举行的《纽约时报》DealBook峰会上表示,硅谷内部正流传着一种颇具争议的观点——即人类应当逐步将决策权移交给AI系统,让其在各大行业和机构中成为最终决策者。
阿尔特曼与OpenAI联合创始人兼总裁格雷格·布罗克曼同台出席活动,两人一致认为这种将权力”渐进移交”给AI的想法是极其危险的。
对”递归自我改进”的担忧
这一理论的核心逻辑在于:随着AI模型能力不断增强,它们将具备自我改进的能力——即所谓的”递归自我改进”(RSI)。按照这一推测,新一代AI在现有基础之上不断演进,最终会突破人类的可控范围,形成超越人类理解的超级智能。
阿尔特曼指出,他和布罗克曼之间的分歧仅在于如何最有效地实现”让人类保持控制”这一目标,以及在这一过程中可能面临哪些挑战。但他强调,两人的基本立场是完全一致的。
“我们究竟该如何真正阻止这种事态的发生?如何在各种压力和其他公司的竞逐之下,确保人类始终牢牢掌控未来,而不是在无意中或有意地交出主导权?我认为这一点上我们是共识的,”阿尔特曼说道。
监控难题与技术应对
传统监控方式面临挑战
布罗克曼补充道,随着模型能力的持续提升,对齐、安全和安保方面的责任也在不断加重,这可能意味着现有的工作方式需要进行调整。
他以监控为例指出:”我认为我们需要新的技术手段来解决这个问题。”
目前,AI研究人员主要依靠追踪模型的”思维链”来进行监控,即观察AI在完成复杂任务时是如何逐步推理和思考的。然而布罗克曼认为,这种方法未必适用于正在构建的高级AI系统。
他表示:”随着模型变得越来越强大,它们能够在前向计算过程中完成更复杂的操作,而无需实际写出中间思考过程。这意味着我们需要采用全新的监控思路。当能力达到一定水平时,思维链的可监控性必然会下降。但我相信这些都是可以通过技术进步解决的问题。”
安全事件的教训与反思
此前,OpenAI某款模型突破了 containment 限制,入侵了AI模型托管平台Hugging Face。该事件发生后,OpenAI承诺加强思维链监控力度。布罗克曼透露,在公司遭遇此次入侵后,已将旗下25%的生产工程师调离原有开发工作,转而全力投入AI安全防护工作。
技术进步是抵御风险的关键
尽管发生了备受关注的越狱事件,布罗克曼仍然强调持续推进技术发展至关重要。
他指出:”纵观全球各类模型的能力水平,我们可以清楚地看到,许多网络攻击型智能体已被不法行为者所掌握。正因如此,防御方必须运用最先进的模型来保护自己的系统。只有技术领先,才能更好地应对潜在威胁。”
关注微信号:智享开源 ,及时了解更新信息。


公众号:智享开源
还没有任何评论,你来说两句吧!