Kimi K3技术突破：非简单复制所得
关于Kimi K3技术来源的争议
美国白宫科学顾问迈克尔·克拉齐奥斯(Michael Kratsios)指出，开发Kimi K3(目前最大的开源大语言模型)的中国公司Moonshot，可能是通过复制Anthropic公司的Fable语言模型，同时使用了未获准出口到中国的芯片来构建其模型的。
“大规模、隐蔽的工业蒸馏行为，旨在窃取美国专有技术和削弱美国研究，是不可接受的，”克拉齐奥斯表示，这一言论是在有关禁止中国开源模型的讨论中发表的，这些讨论已对人工智能行业产生波动。Moonshot未回应关于其训练过程的问题，而克拉齐奥斯也未分享其指控来源的更多细节。
美国官员对中国模型的担忧
克拉齐奥斯的推文呼应了财政部长斯科特·贝森特(Scott Bessent)的评论，他表示”我们在许多中国模型上发现了美国大型语言模型的水印，这是不可接受的。”目前尚不清楚这些水印具体指什么，财政部未回应相关查询。
专家对蒸馏技术的质疑
然而，专家们对蒸馏技术(即通过查询大型语言模型来确定其内部工作机制并复制其能力的过程)是否能够解释Kimi K3所展示的先进能力表示怀疑。
“我不认为仅通过严格蒸馏Fable模型，就能在如此短的时间内得到如此强大的模型，”Laude Institute研究员、Snorkel AI联合创始人布莱登·汉考克(Braden Hancock)向TechCrunch表示。”说实话，时间根本不够，对吧？Fabel自7月1日才公开发布，你不可能在两周内完成这么多数据的蒸馏、模型训练并发布。”
“我一直认为，随着中国模型越来越接近前沿水平，训练方式转向强化学习，蒸馏技术的影响力正在逐渐减弱，”艾伦人工智能研究所(Allen Institute for AI)的AI研究员内森·兰伯特(Nathan Lambert)在昨日发布的一播客中表示，”[如果]真的是这种情况，每个人都可以通过使用其数据进行蒸馏轻易地赶上一个GLM或K3。但我们没有，或者我们不会仅通过监督微调看到这种情况。”
模型蒸馏的技术细节
执行蒸馏需要实验室系统地查询目标模型，以生成可用于后训练的数据。有时这明确涉及要求模型阐明其思维链，以了解其解决问题的方法。在其他情况下，模型的提示和响应被用于训练新模型，这个过程称为监督微调(SFT)。
正是这种微调过程可能导致一个表面上由第三方创建的模型声称自己是Claude。在兰伯特看来，微调是”模型学会举止行为”的地方。
但兰伯特表示，随着模型变得越来越复杂，SFT的好处正变得不那么重要。要蒸馏出类似Fable的能力可能需要强化学习技术。在许多情况下，这意味着需要让更大模型的智能体对较小模型的响应进行评分，并根据评分进行调整。
技术挑战与行业现状
更先进的技术还需要更强大的基础设施。大型强化学习运行可能需要数千万个智能体。使用前沿实验室的API来完成这项工作”将极其昂贵，而且可能成为时间瓶颈，因为这些模型相当慢，坦率地说，甚至可能不会给你带来性能提升。”
似乎之前的模型可能对Kimi有所贡献；Anthropic今年早些时候公开指责Moonshot、DeepSeek和MiniMax系统性地蒸馏其模型。Anthropic表示，通过IP地址和其他元数据，它发现其模型与这些公司识别出的用户之间有数百万次交流。这些查询”不同于正常使用模式，反映了 deliberate 的能力提取而非合法使用。”
全球AI行业的普遍做法
然而，蒸馏在AI公司中被视为常见做法，不仅限于中国。埃隆·马斯克(Elon Musk)今年早些时候作证称，他的公司SpaceXAI蒸馏了OpenAI的模型来开发Grok，并且这种做法在行业中很常见。例如，蒸馏与开发合成数据集之间的界限可能相当模糊。
“总的来说，美国人低估了这些中国团队的技术专业知识，”汉考克表示。”Moonshot的创始人之一是卡内基梅隆大学的博士生。这些都是正在做扎实工作的合法研究人员和工程师。……如果美国模型停滞不前，我认为中国的进步会放缓，但仍会继续。他们不是仅仅在跟随别人。”
此外，很难将蒸馏与克拉齐奥斯评论的第二部分分开——即Moonshot获得了先进的Nvidia芯片Grace Blackwell 300，并访问了泰国配备GB300的服务器。根据乔治城大学安全与新兴技术中心的研究员萨姆·布雷斯尼克(Sam Bresnick)的说法，这些芯片被禁止出口到中国，但存在黑市。5月，一家美国服务器制造商Supermicro的创始人因将先进芯片走私到中国而被起诉。
关注微信号：智享开源 ，及时了解更新信息。
公众号：智享开源
还没有任何评论，你来说两句吧！