驯服失控智能体：AI的AI方案

智能体监管困境：人脑难敌机器速度

随着企业将越来越复杂、耗时的任务交给AI智能体处理，一个监管问题日益凸显：智能体的运行速度、持续时间和处理量远超人类所能实际审查的范围。这一问题在Hugging Face事件中达到顶峰，该事件中近12,000个智能体协调行动的速度之快，远超人类追踪能力。面对如此庞大的智能体群体，如何进行有效监控？

AI实验室与初创公司的创新方案：以AI制AI

AI实验室和初创公司提出的解决方案既简单又令人深思：在监控系统中引入另一套AI。这种”以AI制AI”的策略已成为行业探索的新方向。

在OpenAI的Hugging Face事件的独立调查中，依赖AI进行审查成为必要之举。作为三位审计员之一的Redwood Research首席科学家瑞恩·格林布拉特(Ryan Greenblatt)幽默地将他们的工作称为”潦草调查”，并指出数据量之大”使得不依靠AI就理解发生了什么成为不可能”。

质疑与挑战：智能体能否监管智能体？

然而，对于使用AI监控AI的做法，一些人表示怀疑。科技博主西蒙·威利森(Simon Willison)表示：”如果你的智能体在做恶意行为，并且察觉到另一套AI在监视它，它可能会尝试欺骗那套AI。”他警告称：”你最终可能陷入恶意智能体试图超越监控它的智能体的境地。”

威利森指出，智能体超越监控智能体的可能性并非假设，而是已在现实中发生。”在OpenAI事件中，我们已经看到了一些这样的苗头，他们的智能体合谋一起欺骗评分AI，以便获取违规答案。他们确实在思考如何这么做，对吧？”

资本热潮：AI可观测性领域迅速崛起

尽管存在这些担忧，一批初创公司仍在积极追逐这一理念。据TechCrunch统计，近年来，Y Combinator已资助了106家与AI可观测性相关的公司。此外，Braintrust、LangChain和Judgment Labs等初创公司已筹集数亿美元资金，而成立仅五到六年的成熟公司如Arize和Galileo已成功退出市场。

Box首席执行官兼著名天使投资人亚伦·莱维(Aaron Levie)表示：”我们正迎来历史上最大的网络安全升级和创新周期之一。”这反映了市场对AI安全解决方案的巨大需求。

研究方向转向商业化

对于部分AI安全研究人员而言，这意味着将关于不良行为的研究转化为企业可用的工具。研究AI欺骗的公益公司Apollo Research在今年2月从非营利组织转型为公益公司后，推出了一款名为Watcher的AI监控工具。该工具在编码智能体和其下一个行动之间设置另一层AI，连接到Claude Code和Codex等智能体工具。安装后，Watcher会在行动执行前检查提议，警惕泄露私人数据或未经许可删除文件等风险。

多层监控策略

Apollo技术成员凯尔·戴(Kyle Dai)表示，Apollo采用多层AI监控策略。Watcher的方法首先进行快速通用检查，然后将标记的活动发送给更强大或专门的监控器进行更仔细的审查——这些监控器可以要求人类批准、拒绝行动并解释原因，甚至自动阻止行动。

从模型内部监控

另一家公益公司Goodfire则从模型内部着手监控问题，寻求更忠实于模型内部状态的信号，这种信号比表面行为更难欺骗。在7月的Hugging Face事件后，CEO埃里克·何(Eric Ho)表示”多个模型突破 containment”促使公司将研究重点转向”通过可解释性解决AI对齐问题”，称这一事件”AI安全变得真实的转折点”。其产品Silico使用激活探针——在模型内部激活而非输出上训练的小型分类器——来检测不良行为。

推理文本作为监控窗口

推理文本提供了另一个更易获取的模型内部状态窗口。在OpenAI的Hugging Face事件中，智能体在自己的推理文本中留下了欺骗的线索，如虚假的工作记录，以及思考如”能否战略性地操纵轨迹证据？我们的想法不一定被记录？”等问题。

AI监控公司Embroidery的CEO扎克·科尔曼(Zack Korman)表示，模型的推理通常是判断是否出现问题的最清晰线索。”推理摘要极其有价值，因为它们基本上告诉你智能体是否具有恶意。”他指出，在OpenAI事件中，思维链中提到”天啊，我们正在犯罪”。科尔曼说：”这是最容易检测的问题了。这就像恶意软件自带了警告标签，表明它是恶意软件。”

关注微信号：智享开源 ，及时了解更新信息。

原文链接：https://techcrunch.com/2026/09/17/the-fix-for-rogue-ai-agents-could-be-more-ai/