AI行为管理：超越传统权限控制

访问控制已不足以保障企业AI安全

身份验证和权限管理已不再足以保障企业AI智能体的安全。这些机制仅控制智能体能访问什么内容，而非它们在自主工作时的行为方式。正如Box公司首席信息安全官Heather Ceylan所指出的，自主智能体能在几秒钟内将合法的企业数据访问权限转化为非预期行动。这一差距正在推动企业AI安全从仅管理访问转向包含执行管理的多层次方法。

“访问控制和权限管理是基础，但挑战在于它们最初是为人类设计的，”Ceylan表示，”权限仍然是基础，但您必须考虑智能体如何获得其权限范围。”

人类设计的权限系统与AI智能体的不匹配

访问控制是为一个更慢、更宽容的世界构建的，在这个世界中，拥有对十年前文件夹的 lingering 权限的人类员工很少会查找其中的任何数据，甚至可能完全忘记自己拥有访问权限。然而，智能体会探索其所有权限，以人类无法比拟的规模运行，并以远快于人类的速度发现错误配置和过期的权限。

尽管如此，身份验证和范围限定权限仍然是任何可信防御的第一层，因为智能体提高了风险等级，良好的访问卫生比以往任何时候都更有价值。

仅靠访问控制无法保障自主AI智能体

当智能体被赋予广泛的常驻权限以匹配广泛的工作流程时，问题就会浮现。智能体可能在任务生命周期内合法需要调用二十个不同动作中的五十个工具，读取和写入跨越公司各个部门的文件夹。但一次性授予所有这些访问权限，会在单个步骤出错时扩大数据损坏的影响范围。

“您需要根据智能体被要求执行的任务以及它需要采取行动的时间来改变权限，”她解释道，”如果智能体只执行一个步骤且只需要两个工具，它应该被限定在这两个工具上。当您将权限限定在智能体面前的任务时，任何给定步骤出错的方式也会随之减少。”

从管理访问转向管理执行

安全不再与智能体是否能访问特定数据相关，而是与它在特定步骤上是否应该采取特定行动相关，这就是常驻访问授权与有限授权之间的区别。换句话说，智能体可能对财务文件夹拥有合法权利，但在被告知这样做的情况下，仍然不应该将四千个文件写入新位置。

“一个能够访问其本不应保留的薪资数据的员工可能被指示提取薪资记录并将其写入公共共享文件夹，在单一操作中公布整个公司的薪酬信息，”她说道，”所有访问检查都通过了，但行为仍然造成了灾难性后果。”

仅靠提示语无法可靠地管理智能体行为，因为指令可能改变，智能体可能吸收注入的指令，或者可能被途中读取的文件引导。持久性控制需要在工具调用本身以及这些调用所作用的内容层面存在。预先决定智能体被允许执行什么操作，无论其提示语如何被操纵，都能将行为控制在固定范围内，无法通过巧妙的输入使其偏离。

传统内容平台未针对AI智能体设计

智能体在公司内部接触的大部分是非结构化内容，包括合同、政策、客户记录——构成企业数据绝大多数的累积文件。其中许多内容仍存储在为人类归档习惯设计的系统中：网络驱动器、老化的ECM平台和许多SaaS工具。这些系统被构建用来回答”这个人是否有权限？”的问题，并通过多年未审计的文件夹级访问来回答。

传统平台没有智能体可以推理的元数据或供执行层操作的分类，它们的日志不够详细，无法显示智能体读取了什么内容。Ceylan说，在这样的系统堆栈上添加AI连接器并不能解决任何问题，它只是让智能体拥有相同的盲点，只是以机器速度运行。

内容层的局限性

“每个智能体操作最终都会涉及到内容，”Ceylan说，”如果内容层无法告诉您它持有什么内容、它属于谁、以及什么内容永远不应该离开它，那么您的控制之下就没有任何东西。”

如何确定哪些AI操作需要人工批准

两年前，人们普遍认为安全总意味着在循环中包含人类。Ceylan说，构建和使用智能体改变了这一假设，现在Box将操作分为三个级别：完全自主操作、受监控操作和需要人工批准的高风险操作。

完全自主操作：适用于可逆、有界、可记录、不包含不可信输入，且错误不会造成太大损失的操作。
受监控操作：当团队对智能体建立了足够信心，并将其与能够捕获并撤销飞行中问题的警报和回滚功能配对时使用。
不可逆的高风险操作：始终通过人工路由——例如，当智能体想要删除大量文件或清除结构中的主文件夹时。

每个团队必须调整这些层次之间的界限，以匹配自身的风险容忍度。

Box的方法是在平台而非工作流程中实施控制，强制执行数据分类、标记和过期等保护措施，而不需要对每个操作都设置人工检查点。

“正确的配置应该在最初就强制执行，而不是在最后阻止一个操作，”Ceylan说。

通过长期行为建立对AI智能体的信任

组织可以一次性做出访问决策，但对智能体行为的信任应该随着时间的推移而建立，观察智能体如何运行、协作以及基于其他智能体的输出进行构建。发布的框架往往滞后于技术，或者过于抽象而无法实施；相反，Box从一套更小的原则出发：严格范围的智能体身份和操作、关于可回滚内容的明确期望、三个审批级别，以及团队快速测试和迭代的方法。

“规定的路径必须是快速路径，因为当团队没有获得安全实验的方式时，他们往往会完全绕过控制，”Ceylan说，”安全领导者的工作是提供一种快速移动而不越过护栏的方法。”

维持对智能体的信任取决于能够看到它实际的行为方式。但传统监控工具并非为此工作；用户和实体行为分析所依赖的行为基准是针对人类活动校准的，可疑的智能体行为不一定符合这些基准。

关注微信号：智享开源，及时了解更新信息。

原文链接：https://venturebeat.com/security/identity-and-permissions-arent-enough-to-govern-ai-agent-behavior