Weka智能存储：100%缓存AI模型，降低GPU依赖
GPU内存瓶颈与新型存储解决方案
在生产AI环境中，GPU内存是最昂贵的资源，同时也是最容易耗尽的资源。随着长上下文窗口和多轮对话的普及，AI模型需要重复处理已经计算过的信息，这不仅消耗大量GPU内存和计算资源，还限制了系统服务更多用户或生成新响应的能力。
传统思路是将GPU内存视为限制因素，但Weka公司提出了不同的解决方案：为何不利用更便宜的存储技术来扩展GPU内存呢？Weka相信，廉价的闪存存储能够弥补这一差距。
Weka公司推出的NeuralMesh 6软件平台，配合其首款自主设计的硬件产品Wekapod 3，实现了所谓的”增强内存网格”(Augmented Memory Grid)技术。该技术聚合NAND闪存，使其能够以极低成本模拟GPU内存的功能。
NeuralMesh 6的四大创新功能
NeuralMesh 6新增了四项功能，直接针对Weka创始人兼CEO Liran Zvibel所说的功能差距，这一差距曾在产品竞争评估中导致Weka失去潜在客户。
可组合与虚拟多租户
可组合集群为锚定租户提供完整的硬件级隔离，包括专用的CPU、内存和存储资源。虚拟多租户通过Weka的RDMA网络结构实现，提供网络级隔离，每个集群可支持超过1,000个租户，配置时间不到30分钟。两者结合，单个运行50个可组合集群的系统能够支持多达50,000个租户。
统一文件与对象存储
大多数存储系统保持两条独立路径：基于文件的路径（服务器和应用读写文件的标准方式，在训练和微调管道中广泛使用）和基于对象的路径（S3格式，推理和云原生工具通常期望的格式）。通常，网关会在这两者之间进行转换，这意味着数据实际上存在两份。Weka声称，磁盘上的同一物理数据可以通过任一路径直接读取，无需转换层，无需第二份副本。Zvibel特别针对非AWS GPU云，包括Lambda、Nebius、G42和CoreWeave，称其性能比传统S3高出约两个数量级，并采用基于容量的定价模式而非每API调用收费。
元数据优先复制
目标环境在完整数据副本到达前即可浏览，数据仅在访问时才进行水合处理。
“客户以前必须等待所有数据传输到另一端，这可能需要几天或几周，在极端情况下甚至一个月，”Zvibel表示，”现在我们允许客户获取新的GPU资源分配，并在一小时内启动运行。”
AlloyFlash与持续数据缩减
TLC和QLC是两种类型的NAND闪存内存。TLC速度更快且更耐用，但每TB成本更高；而QLC更便宜，每芯片能存储更多数据，但速度较慢。AlloyFlash在单个集群中混合使用这两种技术，自动将延迟敏感的工作路由到TLC，同时在QLC上运行批量容量工作负载，在不影响需要速度的工作性能的情况下降低每TB成本。数据缩减现在作为默认功能运行，而非可选功能。
解决AI的上下文问题
多租户和对象存储解决了企业和新兴云平台日常运营平台的问题。但还有一个更底层的问题：随着上下文窗口和多轮交互的增长，GPU计算资源在重复计算模型已完成的工作时也大量浪费。NeuralMesh 6中专门为此构建的”增强内存网格”功能，正是Weka的解决方案。
每个提示触发两个阶段：Prefill计算注意力，这是大型语言模型处理输入的核心机制，计算成本很高；Decode将计算转换为输出，相比之下负担较轻。
多轮对话或编码等场景中成本最高，因为每个新回合都会重新触发之前所有内容的prefill，除非这些工作已被缓存。
“如果你有10轮对话，你可能因为重复计算所有内容而过度计算100次。如果有20轮，你就会过度计算400次，”Zvibel表示，”你可以在共享内存中放置比原来多两个数量级的NAND，我们可以缓存100%的预计算令牌，因此你永远不需要重新计算。”
Weka的市场竞争定位
过去一年半，存储供应商一直在重新定位以适应AI需求，但对于买家来说，如何区分真正的能力与重新包装的信息已成为一个实际评估问题。
“存储世界正在从服务企业工作负载的比特管理，转向以AI速度管理数据。过去18个月，我们从Dell、NetApp和Pure的动向中最清楚地看到了这一点，”NAND Research首席分析师Steve McDowell表示，”有趣的是，像Weka和VAST这样的公司是真正的AI原生数据公司，从第一天起就致力于解决这些问题。”
McDowell特别指出”增强内存网格”是Weka最明显的技术优势。
“Weka继续拥有市场上技术能力最强的KV缓存实现，即其增强内存网格，”他说，”他们很早就采用这项技术，并持续创新。这对AI推理至关重要，因为它实现了GPU效率水平，毫无疑问可以节省GPU和内存成本。这对于当今内存和GPU受限的市场至关重要。”
他还指出Weka对其数据缩减承诺的合同保障被低估了。
“一个不太受关注的点：Weka通过对其数据缩减承诺的合同保障，真正做到了言行一致，”他表示。
McDowell建议评估Weka、VAST、Pure和NetApp等厂商竞争主张的买家，建议企业买家应该仔细审视供应商的承诺与实际交付之间的差距。
“明智的买家会关注竞争对手如何解决当今的实际问题，”McDowell说，”他们通过与运行类似规模类似工作负载的组织交流来实现这一点。如果供应商无法指出这样的案例，那应该是一个警示信号。”
关注微信号：智享开源 ，及时了解更新信息。
公众号：智享开源
还没有任何评论，你来说两句吧！