Kimi K2.7-Code发布:思考Token减三成,基准引争议

Kimi K2.7-Code发布:思考Token减三成,基准引争议

本周,Moonshot AI 推出了开源模型 Kimi K2.7-Code,作为 K2 代码模型家族的更新版本。官方宣称该模型具备更精简的推理能力,并实现了两位数的性能增长。

K2.7-Code 沿用了与前代产品 K2.6 相同的万亿参数混合专家架构,并支持通过兼容 OpenAI 的 API 进行直接替换。这对于已经在生产环境中使用 K2.6 的团队来说,意味着集成门槛极低。

回顾今年 4 月,K2.6 一经发布便登上了 OpenRouter 的周度 LLM 排行榜榜首。值得注意的是,该榜单是基于开发者的实际 API 路由决策生成的,而非厂商自报的基准分数。

Moonshot AI 表示,K2.7-Code 旨在解决“过度思考”问题,相比 K2.6,其思考 Token 的使用量减少了 30%。对于运行智能体工作流的团队而言,这将直接降低推理成本。然而,关于这一效率提升在独立基准测试中是否依然有效,业界从业者已公开提出质疑。

Kimi K2.7-Code 模型概览

K2.7-Code 采用修改版 MIT 许可证发布,权重文件已在 HuggingFace 上提供,支持通过 vLLM 或 SGLang 进行部署。该模型仅在思考模式下运行,且不支持温度调节——Moonshot AI 将其固定为 1.0,这意味着团队无法像使用其他模型那样调整输出的确定性。

与 K2.6 相比,核心变化在于生成底层代码的方式。K2.6 倾向于通过包装现有库和路由既定框架来生成实现,而 K2.7-Code 则直接编写实现代码。官方称,这种方式在 Rust、Go 和 Python 语言,以及前端开发、DevOps 和性能优化等任务类型上,能提供更可靠的泛化能力。

基准测试表现

在基准性能方面,Moonshot AI 宣称在 Kimi Code Bench v2 上提升了 21.8%,在 Program Bench 上提升了 11%,在 MLS Bench Lite 上提升了 31.5%。然而,这三项均为 Moonshot AI 运行的专有基准测试。该模型尚未提交至 DeepSWE。DeepSWE 是一项独立的编程基准测试,其模型得分跨度为 70 分(相比之下 SWE-Bench Pro 仅为 30 分),因此对于配置模型路由系统的团队而言,DeepSWE 能提供更具区分度的参考信号。

外部评测:更诚实但能力存疑

来自 Moonshot 自家基准测试之外的图景则更为复杂。研究员 Elliot Arledge 在专注于 GPU 内核优化的公开基准测试 KernelBench-Hard 上,对比了 K2.7-Code、K2.6 和 Claude Fable 5,并在 kernelbench.com 上公布了完整的运行日志。

Arledge 在 X 平台上写道:“K2.7 更诚实,但能力并未增强。”

  • 在六个问题中的五个里,K2.7-Code 生成了真实的 Triton 内核,而 K2.6 使用的是库包装器。
  • 其中两个内核因模型自身的 Bug 而运行失败。
  • MoE 内核的结果从 K2.6 的 0.222 分倒退至 0.157 分。

“作为参考,Fable 在所有未诚实失败的单元格中都名列前茅,” Arledge 补充道。

业界的质疑与期待

使用 DeepSWE 作为参考信号为 Hermes Agent 平台构建模型任务路由器的开发者 Sugumaran Balasubramaniyan,公开回应了 K2.7-Code 的发布,并直接就基准测试的选择向 Moonshot AI 发难。

“恕我直言,每个模型在自己的测试套件里都会实现‘两位数’的提升,” Balasubramaniyan 在 X 上写道。

他指出,K2.6 在 DeepSWE 上的得分为 24%,与 GPT-5.4-mini 持平,并询问 Moonshot AI 是否会将 K2.7-Code 提交至同一基准测试。Balasubramaniyan 表示,他花费了 13 轮审查才将基准测试数据整理准确用于路由器,如果独立的 DeepSWE 数据表现良好,他愿意将编程任务路由给 K2.7-Code。

对企业的实际意义

Token 效率的提升是可以立即利用的。在生产环境中运行 K2.6 的团队可以通过兼容 OpenAI 的 API 无缝切换至 K2.7-Code,在无需改变架构的情况下,预期智能体工作流的推理成本会有所降低。虽然 30% 的思考 Token 减少量来自 Moonshot 的自测数据,但由于集成路径风险极低,团队可以在完全承诺前,将其应用于自身工作负载进行测试。

实际的问题在于,这些效率提升在团队自身的任务分布中是否依然成立。在调整网关权重之前,将 K2.7-Code 置于实际工作负载中运行,是验证这一点的低风险路径。


关注微信号:智享开源 ,及时了解更新信息。

原文链接:https://venturebeat.com/technology/kimi-k2-7-code-cuts-thinking-tokens-30-practitioners-say-benchmarks-dont-check-out

评论列表
发表评论
😀 😂 😃 😄 😅 😆 😉 😊 😋 😎 😍 😘 🥰 😜 😝 🤗 🤔 😭 😤 👍

为你推荐
Ta的个人站点

Mark Do发布文章1921篇

如我距离死亡还有45年,我还活着,该怎么度过现在。


公众号:智享开源

分类