网络安全专家质疑Anthropic Fable安全护栏

Anthropic发布Fable模型,引发网络安全界争议
Anthropic公司于周二发布了其最新模型Fable,将其定位为强大的备受瞩目的网络安全模型Mythos的公开但有限版本。然而,这一发布并未获得网络安全界的普遍欢迎,多位研究人员和专业人士对模型设置的限制措施表达了不满。
过度限制引发专业人士不满
多位网络安全专家和专业人士在公开平台上抱怨F模型的严格限制。IBM X-Force知名安全研究员Valentina “Chompie” Palmiotti指出:”Fable拒绝任何可能与网络安全沾边的请求,甚至是阅读博客文章这样无害的任务。”
当提示触发其安全护栏时,Fable会暂停对话并提示其”安全措施已将此消息标记为网络安全或生物学主题”。这种限制引发了广泛质疑。
安全措施背后的考量
Anthropic设置这些护栏是为了降低Fable被用于开发恶意软件或破坏软件的风险,这是公司长期以来的担忧。对生物学内容的限制也源于类似的生物武器开发风险考量。
今年4月,Anthropic将Mythos模型限制在少数公司和组织内,通过名为”Project Glasswing”的项目,旨在将模型用于保护关键软件和基础设施。上周,Anthropic已将Mythos的访问范围扩展至15个国家的数百个组织。
专家批评限制措施过于随意
尽管出于良好意图,但许多网络安全专家仍对限制措施随意性感到不满。网络安全资深人士Matt Suiche向TechCrunch表示:”如果你要求它编写安全代码,它会假设这是与网络安全相关的工作,而不是软件工程最佳实践,导致性能下降。”
当Fable触发安全护栏时,它会回退到Claude Opus 4.8。Suiche指出:”这似乎是基于关键词的,任何与’网络安全’词汇领域相关的内容都会触发护栏。”
行业理解与未来展望
作为Tolmo公司(一家AI网络安全初创企业)的技术团队成员,Suiche也表达了理解:”我们可以理解,因为我们仍处于早期阶段,他们仍在调整其安全护栏。我相信随着Anthropic和其他前沿模型公司与新一代网络安全公司合作增多,这些护栏会随时间演变。’在发布此类模型时,宁可过度限制,再逐步放宽,这是更好的选择。'”
另一位研究员在X平台上抱怨:”即使是要求代码审查也会触发Fable的安全护栏。”
Anthropic的应对措施
目前,除了模型内部的安全护栏外,Anthropic还要求网络安全专业人员申请”Cyber Verification Program”。如果获得批准,申请人在使用Claude进行网络安全工作时将面临更少的限制。OpenAI也有一个类似的项目,名为”Trusted Access for Cyber”。
Anthropic尚未就此事立即回应置评请求。
关注微信号:智享开源 ,及时了解更新信息。

关注微信

还没有任何评论,你来说两句吧!