Anthropic提案：AI模型若致50人伤亡可被叫停
AI安全监管新动向
过去一年，人工智能潜在风险的担忧持续升温，关于AI安全路径的争论也愈发激烈。如今，Anthropic似乎提出了自己对这个行业监管的构想。
据Politico报道，这家AI实验室正在推进一项新的AI安全法案草案，希望国会考虑采纳。该立法设定了某些特定场景——在这些情况下，AI模型的发布可能会被叫停。
核心触发条件
风险量化标准
法案明确指出，触发叫停机制的场景涉及”可预见的紧迫风险”：即超过50人面临死亡威胁，或可能造成本金损失超过10亿美元的灾难性后果。关键在于，这些风险必须来源于以下三种情况之一：
- 生物武器的研发或扩散
- 模型绕过开发者的安全控制
- 引发网络攻击
值得注意的是，这些量化指标——50人生命风险和10亿美元财产损失——与加州近期通过的第53号参议院法案中的标准高度相似，该法案同样将此类场景界定为”灾难性风险”。
独立评估机制
评估流程设计
Anthropic的法案提出，对模型潜在风险的评估可通过”独立评估员”来完成，这些人将在美国商务部进行注册。有意思的是，评估员的费用可能由AI实验室自行支付——前提是”报酬不与评估结果挂钩”。
不过，如何确保支付行为不会实际影响评估独立性，目前尚存疑问。此前，DeepMind董事长Demis Hassabis曾提出，AI自我监管的监管机构可借鉴金融行业自律组织（FINRA）的模式。
紧急响应机制
根据法案草案，当评估员判定存在紧迫的灾难性风险时，必须在72小时内向商务部报告。商务部随后需向华盛顿特区的法官申请暂停该模型的发布。法案明确规定，任何联邦机构均无权自行决定叫停模型的分发。
行业背景与争议
风险评估的差异
Anthropic并未立即回应TechCrunch的置评请求，但其发言人向Politico确认了草案的存在：”这项法案体现了我们在今年6月已向联邦和州立法者倡导的《Anthropic高级AI框架》中的提案。”
然而，草案中提出的理论性风险场景，与近期科技行业最关心的问题似乎有所脱节。尽管已有研究人员警告人工智能可能导致人员伤亡，但当前行业的主要担忧更多集中在智能体黑客攻击的威胁上。近期发生的多起事件——AI程序似乎违背人类操作者指令、在互联网上自行发起网站入侵——引发了广泛关注，人们开始质疑这些模型是否缺乏足够的安全控制措施。
监管立场分歧
面对自身推动技术发展所引发的危机局面，Anthropic等企业提出了自己的解决方案。事实上，尽管各大实验室持续警告其销售的技术可能导致人类文明覆灭，但它们对强制性政府监管总体持抵触态度，转而主张一种自愿性质的嵌入式评估体系——即在AI组织内部设置所谓的”中立”第三方观察员，监控模型是否存在潜在风险或滥用迹象。
即便如此，Anthropic提出的立法建议相比其他企业的监管方案已显得更为激进。例如，Nvidia首席执行官黄仁勋近日明确表示，AI行业并不需要任何新法规。
关注微信号：智享开源 ，及时了解更新信息。
公众号：智享开源
还没有任何评论，你来说两句吧！