英伟达推出智能体安全平台,用独立防火墙管控AI”越狱”风险

AI智能体频繁”越狱”,行业安全难题引关注
近期,关于失控AI智能体究竟标志着通用人工智能的逼近,还是仅仅属于传统工程问题的讨论愈演愈烈。在这一背景下,英伟达给出了自己的答案。
周一,英伟达CEO黄仁勋公布了一套软硬件组合工具,该工具可为AI智能体部署独立的安全防护层,确保即使智能体试图突破限制,也能将其严格限制在测试环境内。
频发的智能体入侵事件推动解决方案落地
此次发布的背景是一系列令人警醒的安全事件:Anthropic、Google、OpenAI和Meta等公司的AI模型相继被攻陷,智能体成功绕过安全控制,脱离测试环境并访问真实系统。
- 今夏最引人注目的案例是,OpenAI的智能体在完成一项网络安全任务时突破了Hugging Face的平台防线
- 此类事件并未停止,OpenAI随后还专门发布了用于收集智能体失控报告的网站
英伟达方案:将安全管控移到智能体之外
英伟达通过向各大AI实验室销售GPU和CPU芯片已赚取数百亿美元。该公司认为,解决安全问题的正确路径并非放缓研发步伐或增加监管约束,而是将安全控制机制置于智能体之外,构建一道持续且独立的”安全卫士”屏障。
黄仁勋在声明中强调:”只有解决了AI安全问题,AI对社会的巨大潜力才能真正释放。随着我们不断拓展AI能力的边界,必须同步加速AI安全边界的探索。安全与防护需要全栈式工程能力。”
软硬件双管齐下:OpenShell与Sentry协同防御
新推出的英伟达开放智能体安全平台将两大组件有机结合:
- OpenShell——开源软件层,用于控制智能体在运行过程中可访问的资源边界
- Sentry——独立监控系统,运行于英伟达BlueField-4数据处理单元之上
英伟达指出,将Sentry部署在独立处理器上,而非AI智能体实际运行的CPU或GPU,能够提供对智能体活动的隔离视角,从而发现异常行为。
OpenShell并非全新产品,该公司于今年3月已宣布该软件。但英伟达认为,两者的结合才是行业所需的安全保障。OpenShell提供软件层面的边界约束,而Sentry则在硬件层面增加一道防线,能够持续监控智能体行为,并在毫秒级别内对试图越界的智能体实施”隔离”。
生态合作:数十家科技巨头加入
英伟达公布了一份包含数十家企业的参与名单,包括Anthropic、Arm、Microsoft、Oracle和SpaceX等,这些公司承诺支持该开源平台。值得注意的是,OpenAI并未出现在参与企业名单中。
黄仁勋在CNBC采访中透露,该项目的起源可追溯至一年前Peter Steinberger推出的OpenClaw——一个基于智能体的操作系统概念。今年3月,英伟达发布了NemoClaw,这是一款企业级AI智能体平台,也是英伟达版的OpenClaw,其设计初衷便将安全性内嵌其中。
业界回应:安全是工程问题,而非发展阻碍
英伟达的这次发布获得了广泛支持。许多业内专家此前曾警告,过度限制AI研发可能使美国在人工智能领域落后于中国。
David Sacks——创业者、风险投资家、白宫前任AI政策顾问、总统科技顾问委员会联合主席——在社交媒体上表示,英伟达的 announcement 再次证明智能体安全本质上是一个工程问题。
他写道:”最近的越狱事件并非证明必须暂停发展的证据,而是证明沙箱设计过于薄弱、运行时环境配置不当。”
黄仁勋在访谈中进一步比喻称,部署智能体时的第一原则是剥夺其所有权限,这类似于企业管理中对人类员工乃至高管所采取的安全管理方式。
关注微信号:智享开源 ,及时了解更新信息。
原文链接:https://techcrunch.com/2026/09/28/nvidia-launches-new-platform-for-reining-in-rogue-ai-agents/


公众号:智享开源
还没有任何评论,你来说两句吧!