AI编码工具：新型供应链安全威胁

理解什么是代码污染攻击

代码污染攻击是一种新兴的供应链威胁，利用大型语言模型(LLM)的幻觉将恶意代码注入开发工作流程。这一术语结合了”AI垃圾代码”和”域名抢注”的概念，后者是一种欺骗性做法，攻击者注册流行域名的拼写错误或相似版本，以引诱输入错误URL的用户。

这种新型攻击向量利用了LLM倾向于生成虚构软件包名称的倾向，威胁行动者随后可以注册这些名称并填充恶意代码。

在AI辅助编码过程中，模型可能会生成虚假的开源软件包——文件、程序和安装工具的集合。这本身不一定有害。然而，如果攻击者注册了该虚假软件包名称，他们可以注入恶意软件，直接纳入开发者的代码库。

AI如何制造供应链风险

传统上，AI安全风险源于幻觉，这可能将错误信息当作有效信息的不良影响用户。然而，这些幻觉已演变为可利用的安全漏洞。

域名抢注是一种欺骗性做法，网络犯罪分子注册流行软件包的错误拼写版本以欺骗开发者。它已存在数十年，因此注册表已建立防护措施。

然而，AI改变了威胁模型。它推荐听起来合理的虚构软件包，而不是简单的拼写错误。一旦攻击者了解到模型倾向于发明哪些幻觉软件包，他们就可以在这些名称下注册填充恶意软件的软件包。

幻觉持久且严重

即使许多LLM推荐相同的幻觉软件包，广泛妥协仍然可能发生。恶意软件包在生产环境中可能数月甚至数年未被发现，允许威胁行动者在无数环境中被动注入恶意软件。

一个研究团队分析了14,675个软件包中的31,267个漏洞，涵盖10种编程语言。他们发现报告的漏洞正以每年98%的速度增长，增速快于开源软件包数量25%的年增长。该团队还观察到漏洞平均寿命延长了85%，表明安全状况正在下降。

AI幻觉的现实危险

恶意行动者可以在与常见幻觉库相同的名称下创建开放访问软件包。它们不是标准代码，而是填充了恶意软件。模型认为它们指的是现有软件包，因此经常重复相同的幻觉名称。由于幻觉不是随机的，理论上攻击者可以注册欺骗数万名开发者的软件包。

这些软件包看起来是合法的。与真实库的相似性使它们易于识别。单个字符的拼写错误暗示简单错误而非恶意意图。即使完全虚构的名称，当AI在适当上下文中呈现时仍然可信。检测具有挑战性，因为开发者信任他们的编码助手推荐有效的依赖项。

为什么LLM会幻觉软件包？

LLM生成统计上最可能的答案，而不是优先考虑准确性。因此幻觉相对常见。一项研究发现幻觉率在50%到82%之间，具体取决于模型和提示方法。即使表现最好的GPT-4o模型，在使用基于提示的缓解措施后，最低也只降到23%。

对抗性幻觉攻击可能会加剧这一问题。威胁行动者可以利用令牌级操作或检索投毒来强制模型按照他们想要的方式产生幻觉，增加模型推荐其恶意软件包的可能性。

哪些LLM容易受到代码污染攻击？

虽然所有LLM都容易受到代码污染攻击，但有些比其他更脆弱。在代码生成过程中产生幻觉软件包的可能性取决于模型。专有模型产生幻觉软件包的可能性是开源模型的四分之一。

一个研究小组通过在30个不同系统中进行30次测试证明了这一点。在他们产生的576,000个代码样本和2.23百万个软件包中，19.7%是幻觉。GPT-4.0 Turbo的幻觉率为3.59%，而表现最好的开源模型DeepSeek 1B达到13.63%。

这表明，依赖开源AI工具进行代码生成的组织受到代码污染攻击的可能性大约高出四倍。但这并不一定意味着专有工具将永远保持安全。一旦攻击者意识到这种差异，他们可能会操纵专有LLM以利用这种感知的安全性。

AI辅助编码加剧问题

使用AI工具的软件开发人员估计，他们提交的代码中有超过40%包含AI辅助。他们预计这一比例在未来几年内将大幅增加。已经尝试过AI的开发人员中，72%每天使用它。

AI辅助编码的增加放大了威胁面。随着更多开发者将AI工具集成到其工作流程中而未实施适当的验证流程，代码污染攻击的攻击面继续扩大。

对于使用AI辅助编码的人员，双重检查输出至关重要。在将推荐软件包纳入项目之前，验证它们是否确实存在于官方存储库中，可以降低风险。

应对AI辅助开发

实施自动化检查，将软件包名称与已知注册表进行验证，可以帮助在幻觉软件包进入生产代码之前捕获它们。安全团队还应监控异常的软件包安装，并保持对已知代码污染活动的最新威胁情报。

关注微信号：智享开源 ，及时了解更新信息。