小型大模型：PrismML压缩技术改变AI应用
PrismML：小型大模型引发AI应用变革
如果你对人工智能实验室PrismML还不熟悉，那么现在应该关注这家公司了。这并非因为他们筹集了大量资金（实际上他们只完成了2225万美元的种子轮融资），而是因为其背后的技术团队以及可能改变行业格局的技术创新。
颠覆传统认知：小体积高性能
PrismML坚信，具有强大推理能力的高性能大型语言模型并不需要庞大的体积。这家公司正在开发能够推理的小型模型，使其能够适配个人电脑和智能手机等终端设备。
据悉，PrismML甚至可能与苹果公司进行合作洽谈，不过首席执行官Babak Hassibi拒绝就此向媒体发表评论。
Bonsai 2 27B：模型压缩的突破
本周四，PrismML发布了其最新模型Bonsai 2 27B。这是该公司模型系列中的最新成员，将阿里巴巴广泛使用的开源模型Qwen3.8 27B压缩至5.9GB。这一体积足够在PC上运行，也有可能安装在高档智能手机上。相比原始模型，内存需求减少了9到10倍。
团队背景与技术实力
PrismML由加州理工学院的一组研究人员创立，由Hassibi领导。他不仅是加州理工学院教授，还是压缩技术领域的专家。此外，公司顾问还包括Ion Stoica——Databricks联合创始人（以及其他多家公司创始人）以及加州大学伯克利分校著名的Sky Computing Lab主任。该实验室催生了从Letta到SGLang等多项技术和创业公司。
PrismML的投资方包括Khosla Ventures、Cerberus Capital和Caltech。
技术优势：性能与体积的完美平衡
虽然PrismML并非唯一致力于LLM压缩技术的公司，但Hassibi表示，该公司的压缩技术独特之处在于其模型与原始模型相比几乎未损失任何性能。Bonsai 2达到了Qwen 98%的总体基准测试分数。这一比例较两个月前发布的首个Bonsai模型（匹配95%）有所提升。
公司透露，首个模型已被下载超过1100万次，而更小的模型则被额外下载了260万次。
技术原理：三元权重压缩法
PrismML通过缩小构成模型的”权重”来实现这一目标。权重本质上是模型在训练过程中学习和存储的信息。通常情况下，每个权重需要16位存储空间。而PrismML的”三元”权重法将这一过程简化为三种状态：+1、-1或0。由于每个权重要存储的值大幅减小，模型占用的空间也随之显著减少。
未来展望：更大模型的压缩计划
PrismML的下一个目标是将其压缩技术应用于更大的模型。Hassibi向媒体透露：”我们接下来几个月将发布的新模型，有望达到数千亿参数级别，我预计在那里更容易保留模型的智能特性。”
他补充道：”随着模型规模增大，有更多空间可以进行压缩而不损失智能。因此，从总体趋势来看，对于更大型的模型，达到100%性能匹配的可能性更高。”
行业影响：AI民主化的重要一步
Stoica表示，他之所以对这项技术感到兴奋，是因为它使高级模型能够在用户的设备上运行。”你将拥有触手可及的智能，而且它是免费的，因为它将在你已购买的设备上运行。同时，它也是私密的，因为你无需将其发送到云端。”
这种技术变革代表着人工智能民主化的重要一步，使强大的AI能力不再局限于云端服务器，而是能够直接在终端设备上运行，为用户带来更快速、更私密、更便捷的体验。
关注微信号：智享开源 ，及时了解更新信息。
原文链接：https://techcrunch.com/2026/09/17/prismml-hopes-its-tiny-llm-could-change-how-we-all-use-ai/
公众号：智享开源
还没有任何评论，你来说两句吧！