AI降价背后的成本困境：智能体时代的100倍难题

DeepSeek最近将其V4-Pro模型的价格大幅降低了75%，这对企业AI供应商和开发者而言，本应是毋庸置疑的好消息。然而，许多人发现，更便宜的模型并不会自动转化为更高的利润率。

原因很简单：尽管推理成本直线下降，但智能体系统消耗token的速度远快于价格下降的速度。在过去的20年里，软件经济一直遵循相同的规则。基础设施每年变得更便宜，而应用程序变得更强大。AI最初也被假定为遵循同样的模式。随着前沿模型的改进和token价格的下降，许多人推断推理成本将成为微不足道的运营支出。但这一假设正在以指数级速度崩塌。

聊天机器人通常将一个用户问题转化为一次模型调用。而智能体则将其转化为一系列规划、检索、工具使用、验证、总结和后续决策。用户看到的是一个答案，但供应商需要支付整个循环的费用。这就是所谓的100倍问题：同样一个用户可见的请求，作为智能体工作流程服务的成本远高于作为聊天机器人或检索增强生成(RAG)响应的成本。在运行时间更长的工作流程中，这种倍数更高。模型价格下降有所帮助，但不能修复将一个提示转化为数十个可计费操作的产品架构。

如今风险规模之大，从模型提供商自身对开发者关系的定价中就能清晰看出。OpenAI提议为每个Y Combinator初创公司提供200万美元的API积分——这个数字在任何先前的技术周期中都能资助整个种子轮融资，而当同一批初创公司仅需几千美元的AWS积分就能维持运营时——这与其说是招聘福利，不如说是承认现在运营一家AI原生公司第一年产品所需的成本。对于将智能体集成到现有产品线中的成熟企业来说，绝对数字更大。

Token放大效应是什么

在单轮聊天机器人中，一个用户消息大约产生一次模型调用，输入到计费的比例约为1:5。

在部署于客户支持、销售运营、财务、法律审查和工程领域的多步骤智能体中，该比例通常达到1:700或更高。每次循环迭代都会传递累积的对话、工具输出和推理轨迹。每个步骤都会追加内容，不会丢弃任何信息。

一个”简单”的智能体查询，如”我们上周的主要客户询问了什么？”，通常在返回答案前会触及七个计费操作：

用户提示（约50个token）
系统提示和工具定义（约3,000个token，每次调用都重复）
检索（约5,000个token的上下文）
模型调用#1 — 工具选择（8,000输入/200输出）
工具执行（返回约4,000个token）
模型调用#2 — 总结（12,000输入/400输出）
模型调用#3 — 后续决策（12,400输入/100输出）

一句话进来，大约有35,000个输入token被计费。在使用前沿模型的情况下，每个查询的费用在0.10美元到0.40美元之间。如果每月有100万次查询——任何企业B2B功能的基本规模——这一行项目的开销将达到六位数。

为何这会打破现有AI商业模式

企业AI的主导定价故事一直是基于座位的SaaS：按每位用户每月收费，提供智能体功能，捕获利润。该模式假设每位用户的成本是合理有限的。

Token放大效应打破了这一假设。在一个40美元/座位的计划中，每天运行50次智能体调用的重度用户，其推理成本可能超过计划收费。Token放大效应摧毁了传统的SaaS定价模型。当重度用户的每日智能体活动成本超过其月度订阅费时，供应商的毛利率变为负数，这是一种悖论，随着客户加深智能体采用——这正是供应商向董事会推销的使用曲线——这一悖论会加剧。一些供应商现在私下报告重度用户的负毛利率，这与Bessemer”超新星”队列最近的云支出报告相呼应，其中智能体采用与毛利率收缩的相关性已从理论风险转变为主要的P&L阻力。

可见的症状已经开始泄露到公开报道中。彭博本周记录了Salesforce的Agentforce营销演示与实际交付给客户的能力之间日益扩大的差距。当承诺的功能在技术上可行，但按照座位计划的价格提供服务不经济时，这种差距就会可预测地出现。Salesforce是最受关注的案例，但并非唯一案例。

“对我团队来说，计算成本远超员工成本。”——Bryan Catanzaro，Nvidia应用深度学习副总裁

战略意义不在于”AI很昂贵”。而在于大多数AI原生公司计划所假设的主导商业模式无法承受智能体工作负载的考验。

一个简单的例子

考虑一个企业软件供应商为AI支持的支持助手收取每位用户每月40美元的费用。传统聊天机器人每位用户每天的推理成本可能只有几分钱，留下健康的毛利率。

现在，用完全智能化的工作流程替换该聊天机器人，该工作流程能够调查工单、查询内部系统、起草回复、验证输出和升级异常。如果重度用户每天执行50到100次智能体请求，推理消耗可能增加一个数量级。曾经微不足道的基础设施成本变成了重要的运营费用。

这创造了一种不寻常的动态：从产品中获得最大价值的客户往往是产生最高推理成本的客户。在极端情况下，供应商可能会发现自己最活跃的用户贡献的利润最少。结果是，企业软件行业越来越意识到智能体采用和利润扩张不再自动保持一致。

智能体编排是新的护城河

技术解决方案已为人所知且趋于一致。它们并非新颖，但对生存至关重要

成本感知路由：这种技术涉及一个小型分类器模型，决定哪个层级（相当于Haiku、Sonnet、Opus）处理每个查询。精心调整的路由器可在不降低质量的情况下将推理账单减少约60%
提示缓存：Anthropic、OpenAI和Google现在对缓存的 prefixes 提供75%到90%的折扣。
上下文纪律：您可以截断工具输出、修剪推理轨迹，并限制工具深度，防止智能体陷入困境
推测解码：对于自托管部署，该技术保证在相同GPU上实现2到3倍的有效吞吐量。

采用编排治理的组织报告了更强的生产力提升——整体编排层与六倍更大的生产力和创新能力相关。

关注微信号：智享开源 ，及时了解更新信息。