苹果20B参数AI：闪存存储新架构
设备端AI模型一直保持较小规模，因为整个权重集必须驻留在DRAM中，这限制了实际参数数量远低于服务器部署。评估智能体工作负载的企业架构师不得不在依赖云的强大模型和功能有限的设备端模型之间做出选择。苹果在WWDC26上宣布的第三代基础模型通过将权重集完全移出DRAM，打破了这一限制。
AFM 3系列是与谷歌合作开发的，包含五种模型：两种设备端和三种服务器端，全部运行在苹果的私有云计算边界内。服务器端模型包括用于智能体工具使用和复杂推理的AFM 3 Cloud Pro，在谷歌云的Nvidia GPU上运行。设备端架构则是苹果自主研发的。AFM 3 Core Advanced是一个拥有200亿参数的模型，它将权重存储在NAND闪存而非DRAM中。
“不是将整个模型强制放入DRAM，而是将完整模型存储在闪存中，”苹果研究团队在介绍中写道，”由于NAND到DRAM的带宽太慢，无法像标准MoE模型那样逐个令牌交换权重，AFM 3 Core Advanced改为按提示进行路由决策。”
架构工作原理详解
苹果正在解决的内存问题是每个本地AI开发者都会遇到的障碍。
“你无法以合理的精度将200亿参数放入RAM，”Anthropic研究员、前苹果研究科学家Awni Hannun在X上发帖指出，”为了使其工作，他们采用了当今相当独特的架构。一个小型模型根据查询(或提示)预测应从NAND加载哪些专家到RAM中。”
这种预测和加载机制包含三个不同组件，每个都受消费级硅硬件限制的驱动。
完整的200亿权重集存储在闪存而非DRAM中。 AFM 3 Core Advanced将其完整参数集存储在NAND闪存而非活动内存中。标准设备端部署要求完整模型必须适配DRAM，这正是限制其参数数量的原因。苹果称之为指令遵循剪枝(IFP)的方法，将闪存视为模型的永久家园，将DRAM作为给定提示所需的专家的工作缓冲区。
专家路由按提示而非令牌进行。 在传统专家混合模型中，路由器为每个生成的令牌选择不同的专家——这需要在推理速度下持续在闪存和DRAM之间移动权重。NAND到DRAM的带宽无法支持这一点。AFM 3 Core Advanced在提示时进行一次路由，选择固定的专家集，将其与始终活动的共享专家一起加载到DRAM中，并从同一配置生成所有令牌。
活动参数数量根据任务复杂度在1B到4B之间变化。 AFM 3 Core Advanced并非为每个请求运行固定模型大小，而是根据任务需求调整激活的参数数量——简单操作使用10亿参数，复杂任务最多使用40亿参数，所有参数均来自闪存中的200亿参数池。
苹果已公开和未公开的信息
架构论文详细介绍了内存设计和稀疏激活机制，但对实际部署限制的披露较少。
苹果的分析工具暴露了时间指标，但未决定生产可行性的度量标准。”能耗、内存带宽、热管理？文档中没有提到，”正在构建苹果硅本地AI分析工具Ziraph的Marco Abis在X上发帖，”考虑到这些因素决定了大部分设备端性能，这是一个明显的缺口。”
Abis也没有在苹果的文档中找到关于设备端请求何时透明卸载的声明，无论是在Core AI文档、基础模型文档还是私有云计算安全公告中，也未说明这种路由对开发者或用户是否可见。对于需要记录推理运行位置的企业来说，这是一个直接的合规问题。
并非所有信息目前都可用。苹果表示，完整的包含基准测试的技术报告将在今年夏晚些时候发布。
对企业架构师的意义
评估智能体AI部署的监管行业现在有了具体的架构决策需要考虑。
- 设备端智能体的DRAM壁垒已被突破。 需要在没有云往返的情况下运行的企业现在有了一个200亿参数的本地选项可供评估。限制从模型能力转移到了设备硬件。
- 私有/云边界现在是架构决策，而非默认选择。 简单请求保留在设备端；复杂的智能体任务路由到私有云计算上的AFM 3 Cloud Pro。苹果尚未公开指定请求何时卸载，或者这种路由对开发者是否可见——对于需要记录推理运行位置的组织来说，这一缺口使政策决策复杂化。
- 智能体服务器层依赖谷歌云。 AFM 3 Cloud Pro在谷歌云的Nvidia GPU上运行。私有云计算保障涵盖了数据隐私，但并未消除服务器端推理对谷歌云的依赖。
AFM 3 Core Advanced为企业提供了WWDC26之前不存在的200亿参数设备端选项。它能否大规模部署取决于苹果尚未发布的答案。这些细节预计将在夏天的技术报告中公布。
关注微信号：智享开源 ，及时了解更新信息。
关注微信
还没有任何评论，你来说两句吧！