边缘计算新选择：Liquid AI小型模型赋能端侧智能
突破边缘计算限制
本周，由前麻省理工学院计算机科学家于2023年创立的AI初创公司Liquid推出了其最新成果——LFM2.5-2.6B开放权重语言模型。这款模型专门为智能体工作负载设计，能够在无需云端推理或GPU支持的情况下，完全在本地硬件上运行。
本地部署的强大能力
根据Liquid公司发布的资料及最近接受VentureBeat采访时透露的信息，LFM2.5-2.6B模型可以在从智能手机、笔记本电脑到树莓派等多种设备上运行。这一特性解锁了边缘AI应用的可能性，为那些在受监管行业工作或处理敏感信息、不希望将数据上传至云端的企业提供了更多选择。
该模型最适合在本地运行的高容量、定义明确的智能体任务，包括工具调用、文档管理、日历和工作流程自动化，以及常驻后台的例行任务。同时，它也适用于车辆和机器人等连接受限的环境，尽管代码密集型工作更适合交给更大的模型。
即便对于没有此类顾虑的企业，以几乎仅消耗电力的成本运行高性能、特定任务的智能体，可能足以使这款新模型极具吸引力。
模型基本规格
LFM2.5-2.6B拥有26亿个参数，支持128,000个token的上下文窗口，并内置工具调用功能。这个有些特殊的名称结合了模型版本(2.5)和参数数量(2.6B)。
经过后训练的模型和基础检查点(LFM2.5-2.6B-Base)现已可在Hugging Face上获取，并从第一天起就支持主流推理栈，包括llama.cpp、MLX、vLLM、SGLang和ONNX，使其能够在消费级硬件、企业基础设施和嵌入式系统中部署。
Liquid还提供开源微调框架LEAP。
公司并未将LFM2.5-2.6B定位为最大前沿模型的竞争对手，而是提出了不同的观点：足够强大的小型模型可以解锁企业应用类别，在这些应用中，延迟、隐私、部署灵活性或推理成本比绝对基准领先更重要。
“我也相信最好的模型将存在于云端，这没有问题，”Liquid AI后训练主管Maxime Labonne在发布后的采访中表示，”我们想为另一类用户开发模型，最好将其描述为：当你无法使用云模型时，就应该使用边缘AI。”
树莓派也能流畅运行
当被询问最低可用硬件要求时，Labonne表示该模型在CPU上运行”非常好”，并且模型背后的LFM2架构是围绕实际CPU性能而非GPU基准测试设计的。
“我认为最好的例子就是树莓派，”他说，”我们有很多演示显示，它实际上在树莓派上运行相当快。”
公司报告的测量数据显示，在苹果M5 Max上解码吞吐量约为每秒220个token，在AMD Ryzen AI Max+ 395上约为每秒113个token，同时内存使用量不到2.5GB；在智能手机上约为每秒30个token。用户可以通过Liquid AI的移动应用Apollo在手机上尝试这些模型。
在部署的另一端，Liquid AI报告称，在持续并发负载下，单个Nvidia H100 GPU上的模型输出速度接近每秒15,000个token——大约一张卡每天可处理13亿个token。这些数据是供应商基准，尚未经过独立验证。
对于Labonne来说，内存占用和速度不仅仅是便利性，而是决定能否部署的硬性约束。
“我们想展示的是这是一个非常好的权衡，因为你获得了与更大模型相当的质量水平，但体积却非常小，”他说，”你可以将它部署在其他模型完全无法部署的目标设备中。”
为智能体而非聊天机器人而生
Liquid AI表示，LFM2.5-2.6B的开发基于这样的假设：语言模型越来越多地通过智能体框架而非传统对话界面被消费。
“模型不再在聊天机器人中被消费，它们实际上是通过智能体工具包被消费的，比如OpenClaw、Hermes Agent等，”Labonne说，”我们确保这个模型不仅擅长数学或代码，还擅长使用工具。”
该模型在大约34万亿个token上进行了预训练，词汇量 doubled到128K以更好地支持非拉丁文字符，并有一个专门的训练阶段将上下文窗口扩展到128K token，以支持长时间运行的智能体工作流程。
后训练遵循四个阶段流程：监督微调、教师专业化（为指令遵循、数学、代码和工具使用等领域训练单独的专家模型）、多领域在线蒸馏(MOPD)将这些专家的能力合并回单个学生模型，最后是智能体强化学习。
在最后阶段，模型在生产智能体工具包（包括Hermes Agent和OpenClaw）中直接进行了训练，涉及研究、编码、文档管理、工具调用和工作流程自动化等实际生产力任务，使其接触到这些工具包的实际工具、系统提示和交互模式。
Labonne将流程改造描述为一个”意外的收获”：收益远远超出了智能体目标。
“通过这些新的训练技术，我们在所有方面都取得了很大进步，”他说，”我们在数学、指令遵循方面变得更好了。我们实际上从来都不擅长代码，而通过这个，我们甚至变得非常擅长代码。”
模型与框架的协同设计
值得注意的是，Liquid AI还构建了自己的智能体框架，而不是仅仅依赖现有框架，并展示了模型在手机上运行，完全在设备上规划和调用工具。
“这是一个在手机上运行的框架，我不知道是否有其他任何框架能在手机上运行，”Labonne说。
公司有两个原因，他解释道。首先是必要性——没有手机原生的框架。其次是不同的交互模型：当今的框架等待提示，而Liquid AI希望自主行动的助手。
“我们想要主动型智能体，我们想要在后台运行的智能体，检查你在做什么，查看你的日历，并根据这些上下文执行任务，”他说，”这实际上今天并不存在。”
协同设计框架和模型也让软件能够弥补模型的弱点。”模型不擅长的一切，框架应该帮助模型——提供尽可能多的协助，使其更可靠，”Labonne说，”最终用户不关心是模型还是框架在起作用。他们关心的是任务最终能否完成。”
尽管如此，该模型仍能与现有框架（包括Hermes Agent）即插即用。
关注微信号：智享开源 ，及时了解更新信息。
公众号：智享开源
还没有任何评论，你来说两句吧！