微软Surface RTX Spark:本地运行大型AI模型

微软近日正式推出Surface RTX Spark Dev Box,这是一款精巧的台式计算机,专为软件工程师打造,使其能够在本地运行大型AI模型,无需支付云端计算费用。这一举措直接挑战了自ChatGPT三年半前推出以来便主导AI行业经济模式的按令牌计价机制。

该产品在微软Build 2026大会上亮相,集成了Nidia最新Blackwell架构的RTX Spark处理器与128GB统一内存,置于小型机箱内,提供Nidia评定的1 petaflops AI计算能力。实际应用中,这意味着开发者可以加载、运行并交互参数超过1200亿的大型AI模型,无需向云端发送任何API请求。

“我们认为这类设备将支持运行千亿级参数的模型,”微软Windows与设备部门执行副总裁帕万·达武里(Pavan Davuluri)在活动前的媒体见面会上表示。他强调模型规模只是问题的一部分:”模型大小是一方面,但要让模型真正有效,它需要有足够的上下文,因为更大的模型需要输入更多的上下文信息。”他指出,在10万令牌的上下文下,仅键值缓存就能消耗40至50GB内存——这正是微软和Nidia设计这款设备时采用128GB统一内存池的原因,该内存可在CPU和GPU之间动态共享。

该设备将于今年晚些时间在美国市场上市,仅通过Microsoft.com销售渠道。微软未公布具体价格。

为何押注固定成本而非云端计费的AI未来

Surface RTX Spark Dev Box的推出正值AI开发成本成为企业高管关注焦点。各类企业都在应对不可预测的云GPU账单:每次微调运行、每次推理调用、每个通过前沿模型循环的智能体工作流程都会累积成本。对于快速迭代原型的开发者——每天运行同一模型数十或数百次——这些费用会迅速累积。

微软将Dev Box描述为缓解这种压力的解决方案。Surface公司副总裁安德鲁·希尔(Andrew Hill)在公告博客中写道,该设备”改变了这一方程式”,让开发者”为真正前沿的问题保留前沿模型调用,其余工作则在自有硬件上处理。”其主张并非云计算已经过时,而是许多当前发送到远程数据中心的工作并不需要最先进的模型,更适合由具备固定、可预测成本的高性能本地硬件来提供服务。

对微软而言,这是一项重大战略转变,这家公司通过Azure云服务每年获得数百亿美元收入。通过销售明确减少客户云依赖的硬件,微软承认了整个行业一直在积累的矛盾:大规模AI推理的边际成本对许多团队而言难以持续,市场正在寻求替代方案。这一赌注似乎是,在本地进行原型设计的开发者在需要扩展时仍会部署到Azure——而拥有工作流程的两端比仅拥有云平台更有价值。

128GB统一内存架构:本地AI实现的技术基石

Dev Box的技术架构反映了一系列精心设计的工程决策,旨在实现持续而非峰值性能——这一区别对于可能持续运行数小时的AI工作负载至关重要。

核心是Nidia的RTX Spark片上系统,它将超高效的基于ARM的CPU与Blackwell代RTX GPU相结合。达武里在简报会上解释,在传统Windows PC中,这种配置需要四个独立组件:CPU、独立GPU、专用显存和系统RAM。而RTX Spark将所有这些功能整合到单个芯片上,并配以单个统一内存池。

这种统一是关键的设计决策。配备高端Nidia GPU的传统游戏笔记本电脑,GPU可访问的内存上限约为24GB。而Dev Box的128GB统一内存——通过Nidia所谓的统一内存访问架构,CPU和GPU均可访问——使得加载原本需要配备专用高带宽内存配置的云GPU实例的模型成为可能。

微软在操作系统层面做了大量工作来利用这一架构。该公司在Windows中实现了新的内存管理逻辑,提高了GPU可寻址的系统内存上限,为共享内存区域引入了更智能的页面大小分配,并确保繁重的GPU工作负载不会使CPU在多任务处理时所需的资源匮乏。Windows调度程序也针对RTX Spark的异构核心布局进行了优化,将 demanding 工作负载路由到性能核心,同时将效率核心保留用于后台任务。

3D打印铝制机箱:双重散热解决方案

热设计同样经过精心考量。Dev Box在约100瓦的持续热设计功率范围内运行——按台式机标准来看较为温和,但对于旨在持续运行训练作业和推理工作负载的设备而言具有重要意义。铝制机箱本身被设计为被动散热器,微软制造它的方法是该机器最引人注目的特点之一。

顶板采用金属3D打印工艺制造,这一工艺能够实现传统CNC加工或注塑成型无法实现的复杂内部结构。开孔并非简单的通孔;它们围绕内部风扇以多个角度定向,以优化从冷空气进入通过热散气的气流。在新闻发布会上,Surface工业设计师哈里解释了设计理念:”这种复杂性是其他制造商无法实现的,就像CNC或任何模具成型一样,因为形状的复杂性。”

当被问及3D打印是否会限制大规模生产时,该设计师承认这是一个挑战,但暗示微软已开发出足够稳健可扩展的工艺。结果是,这款机器在开放办公室环境中运行足够安静,同时能够维持大多数类似尺寸的传统台式机都会限制的连续GPU工作负载。对于微软希望开发者能够整夜开启进行微调作业的设备而言,安静的持续性能不是奢侈——而是必需品。

开发者优先配置:消除数小时设置时间

微软将Dev BoxWindows 11 Pro一同发售,在镜像级别为开发工作进行了预配置——这个细节看似微不足道,但反映了业界对开发者硬件开箱体验的认可度正在提高,而这一体验历来令人沮丧。”

关注微信号:智享开源 ,及时了解更新信息。

原文链接:https://venturebeat.com/infrastructure/microsoft-debuts-surface-rtx-spark-dev-box-to-run-large-ai-models-without-cloud-costs

评论列表
 
 
发表评论
😀 😂 😃 😄 😅 😆 😉 😊 😋 😎 😍 😘 🥰 😜 😝 🤗 🤔 😭 😤 👍

为你推荐
Ta的个人站点

Mark Do发布文章1404篇


关注微信

分类