AI智能体:身份认证与运行时信任

企业AI进入新时代

企业人工智能已迈入全新发展阶段。各类组织正迅速超越仅能回答问题的辅助型工具,发展出能够进行推理、调用工具、访问企业应用、与其他智能体协作,并在极少人工干预的情况下完成多步骤业务工作流的自主智能体。

这种转变代表着软件运行方式的根本性变革。传统应用程序执行开发者编写的预定义逻辑,而AI智能体则动态决定如何实现目标。它们根据上下文决定使用哪些工具、调用哪些API、获取什么信息以及如何排序行动。这种灵活性释放了巨大的商业价值,但也引入了一类全新的安全风险。

当前关于AI安全的讨论大多集中在提示注入、模型漏洞和数据泄露上。这些问题固然重要,但仅代表挑战的一部分。一旦AI智能体成功认证并开始自主行动,传统安全控制几乎无法提供对其是否继续安全运行的可见性。

这正是企业需要采纳新安全思维的地方:运行时信任。

认证建立身份,而非信任

企业传统上依赖三个基础问题:你是谁,你能访问什么,你被授权执行哪些操作。身份提供商、多因素认证(MFA)、基于角色的访问控制和零信任架构有效回答了这些问题,适用于人类用户和常规应用,而NIST的零信任指南仍然是这些原则如何运作的坚实参考。

AI智能体带来了不同的问题。一个AI智能体可能使用企业身份成功认证,获得有效的API凭证,并被授权访问Microsoft 365、ServiceNow、Salesforce或GitHub等系统。从身份角度看,一切似乎都正确。真正的挑战始于认证之后:在执行过程中,智能体持续进行推理、解释目标、调用工具、获取信息并根据新上下文调整行为,安全团队必须确定这些行动是否仍与用户意图和组织政策保持一致。认证验证AI智能体的身份是什么,而运行时信任则持续验证它在做什么。

企业AI正成为自主劳动力

现代AI智能体越来越多地与大型语言模型(LLMs)、模型上下文协议(MCP)服务器、检索增强生成(RAG)系统、向量数据库、企业API、SaaS平台、内部知识库以及其他AI智能体交互。这种互联生态系统实现了复杂的自动化,但也显著扩大了攻击面:单个受损工具、被污染的知识源、过度宽松的API或被操纵的提示都可能影响整个工作流程中的下游决策,与传统软件不同,这些风险在执行过程中会不断演变,而不是在部署时就被固定。

这种不断扩大的攻击面正是少数运行时威胁所利用的。

运行时威胁类型

  • 目标漂移:当智能体以合法目标开始,但在尝试优化结果时逐渐偏离用户原始意图时发生。例如,被指派准备客户报告的智能体可能会自主获取无关的机密信息,因为它错误地认为额外的上下文将改善响应。
  • 过度工具调用:当拥有多个企业工具访问权限的自主智能体调用不必要的API、修改配置、访问敏感存储库或执行管理操作时发生,仅仅是因为模型认为这些操作有用,而没有任何运行时控制来阻止它。
  • 记忆污染:利用提高个性化功能的持久记忆:攻击者可以在长期记忆或检索系统中有意插入误导性指令,导致未来决策受到恶意或过时信息的影响。
  • 上下文操纵:利用LLM对上下文的严重依赖:如果攻击者影响检索到的文档、系统提示、对话历史或外部数据源,他们可以在不损害底层模型的情况下间接引导自主行为。
  • 多智能体放大效应:当组织部署协作的专业化AI智能体时出现:如果一个智能体行为不当,下游智能体可能会信任并放大这些行动,在整个企业工作流程中造成级联故障。

引入运行时信任

运行时信任通过在执行过程中持续验证AI行为,将安全范围扩展到认证之外。它不再假设已认证的智能体会永远可信,而是持续评估自主决策是否仍与组织政策保持一致。运行时信任架构建立在几种互补能力之上。

运行时信任的核心能力

  • 意图验证:在执行敏感操作前,评估提议的行为是否仍与用户的原始目标匹配:此操作是否必要?是否符合预期?是否超出请求范围?合理的人类是否会执行相同操作?
  • 行为监控:观察工具使用、API活动、推理模式、执行频率、委派操作和异常工作流程,使意外行为变得立即可见,而不是隐藏在模型推理内部。
  • 策略执行:企业政策决定AI智能体可以做什么,而不仅仅是它们可以访问什么——阻止超过审批阈值的金融交易,防止权限修改,限制管理操作,限制敏感数据检索,并要求高风险操作获得批准。这些控制功能类似于自主决策的应用防火墙。
  • 最小权限执行:AI智能体仅获得当前任务所需的能力。组织应根据运行时上下文动态发放短期权限,而不是授予对企业工具的永久访问权限,这种方法越来越受到OWASP智能体应用指南的强调。
  • 人工监督:认识到并非所有决策都应自主化——包括财务审批、身份变更、监管行动或客户影响重大的操作等高影响操作,应在执行前明确获得人类确认。

保护企业AI生态系统

运行时信任也扩展到单个智能体之外。随着MCP采用的加速,企业应验证受信任的服务器、经过认证的工具、批准的能力、监控的交互和策略执行。RAG知识库需要内容验证和更新机制,以确保检索到的信息准确且未被污染。企业还需要建立智能体间的信任边界,防止不当的数据共享和权限提升。建立全面的运行时信任框架,是企业安全团队迎接AI时代挑战的必然选择。


关注微信号:智享开源 ,及时了解更新信息。

原文链接:https://venturebeat.com/security/ai-agents-need-their-own-identity-before-they-need-a-gateway

评论列表
发表评论
😀 😂 😃 😄 😅 😆 😉 😊 😋 😎 😍 😘 🥰 😜 😝 🤗 🤔 😭 😤 👍

为你推荐
Ta的个人站点

Mark Do发布文章2842篇

如我距离死亡还有45年,我还活着,该怎么度过现在。


公众号:智享开源

分类