全栈控制：企业AI主权之道
本周，数百家企业领导者和技术专家齐聚门洛帕克豪华的尼娅酒店主会场，参加VB Transform 2026大会，这是今年专注于利用生成式智能体推动业务成果的首屈一指的会议。
加拿大新兴企业AI创业公司Cohere的产品工程副总裁Rachad Alao与VentureBeat CEO兼主编Matt Marshall进行了炉边对话，探讨如何在构建智能系统的同时不放弃敏感数据、基础设施控制权或更换供应商的能力。
曾在谷歌和Meta领导负责任AI、信任与安全工程团队的Alao表示，AI自主权意味着不仅仅是下载开源模型或在企业防火墙后运行应用程序。
当被问及Cohere如何定义自主权时，Alao指出运营关键任务系统的组织，包括银行、医院和政府机构。
“对数据存储位置和AI实施严密控制至关重要，”他说，补充道AI操作应在组织理解或直接管辖的司法管辖区进行。
这种控制范围从GPU和私有云基础设施，到在模型间路由请求的治理系统，以及作用于企业数据的连接器、搜索工具和智能体框架。
“你需要对整个堆栈拥有控制权，”Alao强调。
智能体工作负载增长或将超越令牌价格下降
Marshall对本地部署小型模型的核心经济论点提出质疑：推理价格持续快速下降，可能削弱优化每个令牌的必要性。
Alao反驳称，随着企业从相对简单的聊天机器人转向能够推理问题、调用工具、搜索内部系统并在返回答案前采取多步骤的智能体，总消耗量增长更快。
“你的令牌使用量将呈指数级增长，因为你处理的智能体用例越来越复杂，”他说。这些工作流程需要”大量处理、思考和工具交互”来完成目标，他补充道。
Alao还对比了按令牌消耗向客户收费的提供商与Cohere的收费方式。
“如果你的整个收费模式基于令牌使用量，你会希望最大化令牌使用量，”他说。”我们不这样销售我们的模型和平台。”
相反，Alao表示Cohere致力于帮助企业在私密和安全的环境中解决最棘手的问题，同时减少不必要的模型使用。他的建议很简单：”为手头的任务选择合适的模型。”
企业不应将每个请求都发送到最大的前沿模型，而应根据任务所需的智能程度以及任务的敏感度或监管负担来路由工作。
Alao援引一家未具名的加拿大银行为例，该行使用Cohere的本地模型处理高度监管的工作负载，而将需要更高智能但敏感度较低的任务通过Cohere的North平台发送到更大的前沿模型。
“因此，模型路由可以变得非常有用，”他说。
小型模型满足多数企业需求
当被问及Cohere上月发布的开源North Mini Code如何与专有编码模型竞争时，Alao承认在最具挑战性的任务上，更大的前沿模型可能表现稍好。
但这种优势可能不值得无差别使用它们。
“对于他们需要的80%的用例，这有效得多，也便宜得多，”Alao谈到采用该模型的开发者时表示。
Cohere的North Mini Code运行在单个Nvidia H100 GPU上，面向智能体软件工程，包括终端工作、代码审查和工具使用。
该公司还发布了Command A+，这是一个拥有2180亿参数的专家混合模型，但在每个生成步骤中只有250亿参数处于活跃状态。其压缩的四位版本减少了私有部署所需的硬件，而其Apache 2.0许可为企业提供了广泛的操作和修改自由。
搜索融入智能体架构
当被问及Cohere在嵌入和企业搜索方面的长期工作时，Alao表示该领域正在超越检索文本并将其插入模型的上下文窗口。
“当今最先进的技术是多模态搜索，”他说。”它超越了单纯的文本模态。”
跨文档、图像和其他形式信息的搜索正成为”你智能体工作流程的组成部分”，Alao补充道，模型决定何时以及如何像使用其他工具一样使用检索功能。
当被问及什么能促使企业超越现有云提供商的捆绑AI服务时，Alao再次回到数据控制和可移植性。
“如果你对自主权感兴趣，你希望对自己的数据有更多控制权，”他说。他补充道，Cohere的治理层让客户能够将流量路由到适当的模型，”打破了许多客户面临的供应商锁定顾虑。”
关注微信号：智享开源 ，及时了解更新信息。
公众号：智享开源
还没有任何评论，你来说两句吧！