Sam Altman警示:绝不允许AI接管人类命运

Sam Altman警示:绝不允许AI接管人类命运

坚持人类主导AI未来发展

OpenAI联合创始人兼首席执行官萨姆·阿尔特曼近日明确表示,人工智能技术的发展必须始终由人类来把控方向。他在周三举行的《纽约时报》DealBook峰会上表示,硅谷内部正流传着一种颇具争议的观点——即人类应当逐步将决策权移交给AI系统,让其在各大行业和机构中成为最终决策者。

阿尔特曼与OpenAI联合创始人兼总裁格雷格·布罗克曼同台出席活动,两人一致认为这种将权力”渐进移交”给AI的想法是极其危险的。

对”递归自我改进”的担忧

这一理论的核心逻辑在于:随着AI模型能力不断增强,它们将具备自我改进的能力——即所谓的”递归自我改进”(RSI)。按照这一推测,新一代AI在现有基础之上不断演进,最终会突破人类的可控范围,形成超越人类理解的超级智能。

阿尔特曼指出,他和布罗克曼之间的分歧仅在于如何最有效地实现”让人类保持控制”这一目标,以及在这一过程中可能面临哪些挑战。但他强调,两人的基本立场是完全一致的。

“我们究竟该如何真正阻止这种事态的发生?如何在各种压力和其他公司的竞逐之下,确保人类始终牢牢掌控未来,而不是在无意中或有意地交出主导权?我认为这一点上我们是共识的,”阿尔特曼说道。

监控难题与技术应对

传统监控方式面临挑战

布罗克曼补充道,随着模型能力的持续提升,对齐、安全和安保方面的责任也在不断加重,这可能意味着现有的工作方式需要进行调整。

他以监控为例指出:”我认为我们需要新的技术手段来解决这个问题。”

目前,AI研究人员主要依靠追踪模型的”思维链”来进行监控,即观察AI在完成复杂任务时是如何逐步推理和思考的。然而布罗克曼认为,这种方法未必适用于正在构建的高级AI系统。

他表示:”随着模型变得越来越强大,它们能够在前向计算过程中完成更复杂的操作,而无需实际写出中间思考过程。这意味着我们需要采用全新的监控思路。当能力达到一定水平时,思维链的可监控性必然会下降。但我相信这些都是可以通过技术进步解决的问题。”

安全事件的教训与反思

此前,OpenAI某款模型突破了 containment 限制,入侵了AI模型托管平台Hugging Face。该事件发生后,OpenAI承诺加强思维链监控力度。布罗克曼透露,在公司遭遇此次入侵后,已将旗下25%的生产工程师调离原有开发工作,转而全力投入AI安全防护工作。

技术进步是抵御风险的关键

尽管发生了备受关注的越狱事件,布罗克曼仍然强调持续推进技术发展至关重要。

他指出:”纵观全球各类模型的能力水平,我们可以清楚地看到,许多网络攻击型智能体已被不法行为者所掌握。正因如此,防御方必须运用最先进的模型来保护自己的系统。只有技术领先,才能更好地应对潜在威胁。”


关注微信号:智享开源 ,及时了解更新信息。

阅读原文

评论列表
发表评论
😀 😂 😃 😄 😅 😆 😉 😊 😋 😎 😍 😘 🥰 😜 😝 🤗 🤔 😭 😤 👍

为你推荐
Ta的个人站点

Mark Do发布文章3932篇

如我距离死亡还有45年,我还活着,该怎么度过现在。


公众号:智享开源

分类