Pinterest改造前沿模型视觉层，AI成本锐降90%
拥有6.2亿月活跃用户，为每张图片推荐调用前沿模型，这并非策略，而是巨额账单。Pinterest首席技术官马特·马德里加尔（Matt Madrigal）通过改造Qwen3-VL的视觉层，并用自有嵌入重新构建，成功将成本削减90%，同时将准确率提升30%。
马德里加尔的团队一直在大力投资“基础性内部定制”开源模型。“如果你拥有独特数据，能够对开源模型进行微调，那么数据质量实际上会超越或弥补模型规模，”马德里加尔在最近一期的《VB Beyond the Pilot》播客中解释道。
Pinterest如何定制Qwen以实现视觉发现
Pinterest长期应用开源模型进行视觉搜索和发现，从谷歌的BERT到OpenAI的CLIP。公司基于后者微调了自己的Pin CLIP，整合了专有视觉嵌入和图像元数据。
Pinterest的对话式购物助手Navigator 1基于Qwen3-VL构建，并在多个方面进行了“相当显著”的定制。马德里加尔的团队本质上“剥离”了Qwen的视觉编码层，并使用专有多模态嵌入对模型进行微调。这使得他们能够捕捉与图钉和图像相关的元数据，这些元数据可以离线预计算，并定期根据新信息重新训练，从而提供个性化体验。
“开源模型，尤其是采用开放Apache许可证的模型，允许你真正调整大量开放权重，为独特用例定制——我们发现这对我们来说开源的强大之处就在于此，”马德里加尔表示。
引入自有嵌入让他的团队能够获取关于元数据、图钉和图像的上下文；值得注意的是，模型在运行时和推理性能上也表现更好。没有这些嵌入，开发人员将不得不在运行时逐张调用和编码返回的图像。从推理角度看，这会导致延迟“恶化20倍”，马德里加尔说道。
“如果某项功能对终端用户至关重要，能够提升参与度，且需要扩展至6亿多月活跃用户，我们可能会自己构建，或者利用开源模型进行深度定制，”他说。
品味图谱如何捕捉用户兴趣的演变
为了引导用户从灵感发现到购买，马德里加尔的团队构建了一个“品味图谱”：动态呈现用户实际喜欢的内容，而不仅仅是他们点击的内容。“这是数十亿人品味演变的表示，”他说。
马德里加尔指出，当用户明确知道想要什么时，会去谷歌或其他搜索引擎；而Pinterest适用于用户仍处于发现阶段的情况。Pinterest的目标是鼓励“横向探索”，将发现转化为意图（即点击广告或进行购买）。
在技术架构上，该系统结合了图谱结构与表示学习。用户嵌入捕捉用户不断变化的品味，这些嵌入根据活动和新的内容及信号持续更新。“这不是社交图谱，”马德里加尔说。“它更像是一个偏好图谱：什么能启发你？你下一步想做什么？”
例如，一个用户可能喜欢中世纪现代设计，另一个则偏爱楠塔基特风格。这些偏好将被捕捉到用户嵌入中，品味图谱将据此推荐具体相关产品。
“你从上漏斗的灵感发现，一路走到下漏斗的购买意图，”马德里加尔说。
收听完整播客，了解更多关于：
-
Pinterest如何使用沙盒以安全可控的方式鼓励创造力；
-
为何持续反馈循环能防止视觉AI质量下滑；
-
持续基准测试对衡量用户参与度、性能、延迟及其他因素的重要性。
你也可以在Beyond the Pilot上收听和订阅，平台包括Spotify、Apple或任何你获取播客的平台。
关注微信号：智享开源 ，及时了解更新信息。
关注微信
还没有任何评论，你来说两句吧！