神译局是36氪旗下编译团队,关注科技、商业、职场、生活等领域,重点介绍国外的新技术、新观点、新风向。
编者按:“自建专属AI”或是场自嗨。仿真数据显示,对手踩坑经验的提炼效果反超私有数据,中心化路由平台正重构算力分发。文章来自编译。
本月早些时候,Stripe同意以75亿美元收购OpenRouter。
这引发了一阵密集的评论热潮。Slow Ventures的Sam Lessin直言:
OpenRouter一点技术含量都没有,不过是个加上了极佳营销手段的API密钥中转站罢了。
而@patrickmandia则表示:
过去几周涌现出的路由器浪潮让我感到费解。每一家现代应用层企业自身都会演变成一个路由器。这是它们生存的根基,绝对不会外包给另一家公司。
我直觉上感到Sam和Patrick根本没有看懂本质。我最近愈发坚信,“按结果定价”(Outcomes Pricing)最适合在路由器层扎根(视算力的市场结构而定,也可能位于模型层),而非应用层。如果这一判断属实,则路由器所掌握的市场定价权也将遵循数字广告技术(Ad-Tech)系统的市场垄断逻辑也是顺理成章。
按结果定价当属基础设施层
十个月前,我曾撰文抨击应用层的按结果定价模式。我认为他们借用广告技术做类比十分愚蠢——在广告技术领域,你售卖的是稀缺的用户注意力,而机器智能很快就会变成“便宜到无法计量”的公用资源。我认为,交付结果的定价理应由市场机制决定(比方说取决于算力供应的充裕程度),而不是在与前谷歌、前Salesforce高管Brett Taylor礼貌寒暄一番后,由一份年度合同敲定的固定单价。
当时我就感到,与Sierra所阐述的愿景截然相反,应用层的利益诉求与其客户并不一致。随着应用层对智能体(Agent)解决客户问题的能力沉淀出更深刻的洞察,同时基础模型变得愈发物美价廉,客户根本没有任何显而易见的机制来分享这种效率红利。所有超额剩余价值全部沉淀在了应用层。由于潜在的迁移成本极高,加之客户对底层智能体的运行机制几乎毫无可见度,客户在谈判更优惠条款时实际上毫无议价权。
而在中立的基础设施层推行按结果定价,恰恰有望化解这一困境。模型层固然也可以提供按结果定价——据报道OpenAI就在对此进行试点——但它可能面临与应用层如出一辙的弊端:要么谋求生态锁定,要么优先推销自家模型,而非纯粹为了以最具性价比的方式交付结果而进行全局优化。
从这个角度来看,路由器层,或是向上延伸至路由器领域的推理服务商与新型算力云,在商业立场上与客户最为契合。它们唯一的诉求就是售卖更多算力——至于具体调用了哪家模型,它们根本不在乎。
然而,即便这一前提成立,路由器层是否真正具备崛起为中心化超级平台的天然权利,依然存疑。数字广告技术市场格局的演进历程,在此极具参考价值。
广告技术的市场话语权
广告技术与按结果定价基础设施之间的内在逻辑十分简单。广告技术通过技术探针对客户网站或应用中的最终转化结果进行追踪。比方说,营销人员通过Meta的Conversions API向Meta实时同步用户何时访问了着陆页或购买了商品。营销人员之所以这样做——甚至不惜共享私密的经营上下文数据!——就是为了让Meta能以最优的价格交付他们所期望的转化结果。
但不可否认的是,将此类数据拱手让给Meta,客观上也是给竞争对手赋能。举例来说,如果你是内曼·马库斯(Neiman Marcus),当你告诉Meta某位特定画像的用户刚刚完成下单时,你实际上在协助Meta迭代其广告算法,从而更精准地把广告推送给你的死敌萨克斯第五大道(Saks Fifth Avenue)。这显然背离了诸如萨提亚·纳德拉(Satya Nadella)所倡导的“学习飞轮”原则。
这意味着真正的机会并不在于挑选出最优的模型,而在于模型之上构筑起让智力资本与Token算力资本能够不断复利滚动的学习闭环。
如果中心化的路由器或模型层真能比单家企业自身更高效地交付业务成果,那么“每家企业都该自建专属学习飞轮”的立论基础便开始动摇。这种结局难免令人脊背发凉,因为它直接颠覆了十多年来由Databricks等厂商极力兜售的行业共识——即企业私有数据是每家公司的命脉,出让任何数据都无异于自毁超额收益(Alpha)、丧失技术自主权与扼杀未来增长空间等等。
然而,广告技术的发展历史并没有给纳德拉等人的宏大叙事留情面。开放互联网(Open Internet)的日渐式微固然有诸多诱因,但毋庸置疑的是,围墙花园(Walled Gardens)内部的广告基础设施,凭借其高度整合带来的极简体验,远比四分五裂的开放网络更为高明。Meta至今仍是全网投放广告效果最拔尖的阵地之一,其端到端打通的“持续学习”技术栈正是制胜关键。平心而论,这两者不可完全相提并论,但那些试图在开放网络上“自建闭环”的营销人员,其投产比往往远远落后于直接托付给Meta或Google托管。
退一步讲,广告技术的市场机制与按结果定价之间存在一个本质差异:熵(Entropy)。广告技术直接构建于高熵环境之上——那是瞬息万变的用户偏好,以及商家为了迎合这些偏好而不断迭代的产品洪流。假若大众偏好是恒定不变的,即便Meta确实圈占了稀缺的用户注意力,它所建立的技术架构与数据壁垒的价值恐怕也会大幅缩水;因为一旦你对用户偏好做出了较为精准的建模,且这种偏好不再漂移,系统便几近定型。届时任何汇聚了注意力的玩家,都能通过探察这些固定不变的偏好,轻松复刻出这套广告引擎。
这正契合了我长期以来的一个探究:前沿AI实验室的长期命运,是否取决于真实世界中“未知的惊喜与变量”(Surprise)究竟有多丰富。我随后在此对该假设进行了形式化建模。
如今看来,“真实世界的熵值规模”或许正是那个决定性的物理量:它将最终裁定,究竟是中心化路由器平台能凭借对持续涌现的新模型与新问题形态的卓越泛化学习,捕获更强劲的经济效益;还是真如@patrickmandia所设想的那样——路由器不过是部署在边缘侧的大宗标准化组件,由于真实世界并没有想象中那般纷繁复杂,本地系统能迅速摸清哪种智能体运行时(涵盖模型、运行脚手架、外部工具链等)最适于解决边缘业务痛点,致使第三方路由器根本无法形成任何学习壁垒。
我正在针对这一课题进行仿真测试研究,但在展开数据之前,我们有必要先厘清:为什么路由器平台推行按结果定价会比前沿AI实验室更有优势?
按结果定价:路由器为何胜过前沿实验室?
正如前文所提及,本周有报道称OpenAI正在小范围的客户中试点按结果定价,《The Information》也对此进行了证实。在此之前,Anthropic关于“界定任务结果”(Define Outcomes)的官方文档也已悄然上线数月。
以Meta和Google为代表的广告巨头,违背纳德拉的警示,成功说服了无数应用与网站向其源源不断地回传遥测数据——也就是真实的转化结果!那前沿私有模型实验室为何不能、抑或不愿复刻这套打法?
我认为两者的根本分歧在于广告平台牢牢钳制住了某种天然稀缺的资源——注意力;而模型实验室迄今并未掌控同等意义的稀缺品(除非把算力本身算进去?)。应用与站点等广告主之所以被迫向广告平台共享数据,是因为后者攥紧了品牌方梦寐以求的稀缺注意力入口。虽然这确实会造成生态锁定,但广告主往往别无选择。然而AI用户却拥有充足的退路——他们随时可以在五花八门的算力云上调用各类开源模型。
OpenAI和Anthropic的底层诉求是兜售高毛利的模型推理服务。而路由器与推理提供商的目标仅仅是消耗算力。它们对终端跑的是哪家模型毫不在意。正因如此,相较于各大闭源实验室,中立的开放模型平台在标榜“以最优价格交付确定性结果”时,天然具备更高的可信度。
若我们认同这一逻辑,那么接下来的核心问题便是:一个持续聚合海量已验证结果流的中心化平台,比起企业在边缘侧自建本地路由器,究竟能否建立起不可逾越的竞争壁垒?
中心化平台 vs 本地路由器的价值主张仿真
购买智能体确定性结果的交易机制
具体设想一下,像OpenRouter或Router.com这样的中心化路由器开始按业务成果计费。其运作范式将向广告技术深度看齐:邀请买家在其业务应用中集成遥测接口(类似于Meta的Conversions API),用以向路由器实时反馈预期的业务目标是否真正达成。买家唯有在遥测探针确认结果达成时才需付费,而任务的“完成标准”(Definition of Done)则由买家自主界定,这与Anthropic所设定的结果规范如出一辙。
诚然,这可能会滋生道德风险:成果买家或有动机恶意篡改遥测信号,蓄意少报或谎报成功结果。但这一顾虑可以通过博弈机制来对冲——因为路由器会基于客户上报的实际效果进行反向算法调优,恶意瞒报将直接导致系统对该客户的服务交付效率下降(甚至变得更加昂贵!)。具体而言,路由器可能会开始频频驳回该客户的智能体调用请求(因为系统无法确认将算力耗费在这样一个账面转化极低的挑剔客户身上是否划算),或者大幅提升计费门槛,以确保在面对潜在的高误报风险时仍能维持毛利。
当然,智能体劳动力的交易逻辑与广告仍有微妙差异,从Meta采购转化量,本质上买下的依旧是稀缺的用户注意力,只不过竞价分发机制针对转化率做了单向优化。关于这套博弈动态,我近期会另发长文深入探讨。
中心化路由器的底层经济学
那么,这样一套中心化路由器究竟能否为应用层创造真实的增量价值?
这一中心化路由器的设想直击纳德拉的核心论点:买家不再固守自身内部的数据学习闭环,而是主动将经验证的业务成果数据持续同步给路由器,以此置换最优的单位结果采购成本。
其底层逻辑在于中心化路由器能以远超单一客户的响应速度和低廉成本,吸收来自长尾业务问题及前沿模型演进所带来的不确定性。单个客户可能需要相当漫长的周期才能经历完整的业务问题分布,而路由器平台却能实时纵览全量客户群遭遇的所有问题形态。只要各家客户踩坑的时间存在先后窗口,聚合效应就能为后继者带来前瞻性的对冲收益。打个比方,你的竞争对手或许比你先遭遇了一类偶发故障;路由器平台即可借助从竞手处验证的结果流来为你实时解题;而前提始终是路由器的服务采购价,必须低于你自主摸索的研发成本与出让部分数据信息所造成的机会成本之差。
我把这一核心概念做了如下的可视化:
路由器平台如何利用聚合机制,在单个客户遭遇全新盲区之前完成预判学习。
如果说前沿实验室的商业根基取决于世界所蕴藏的“变量与未知规模”,中心化路由器亦复如是。路由器要长久维持对客户的核心价值主张,必须依赖一个前提这个世界必须“始终足够多变且充满未知”,以至于直接采购被托管的任务成果,其经济性价比显著优于自身从零打造智能体。假若客观世界波澜不惊、高度确定,企业断无理由平白无故将利润拱手让给外部托管方;反之,若世界瞬息万变、充满动荡,将这类复杂性完全转包给第三方代劳便成了最明智的算盘。
我们不妨将这种经济价值提炼为“残差可迁移不确定性”(Residual Transferable Uncertainty):即在完成本地私有学习后依然存留的、且能够在不同客户之间实现跨域迁移复用的那部分未知冗余。
为了对此进行验证,我构建了一套仿真系统:模拟一个跨客户监控业务成果的路由器平台,以此检验它能否比单兵作战的独立企业更高效地交付这些结果。在此我们先假定系统优化仅发生在“智能体运行时”(涵盖模型调用、脚手架、工具调度)这一维度。我进一步模拟了源源不断的可迁移未知变量是否足以将这种相对优势固化为持久壁垒,以及这种持久的技术红利能否最终变现为垄断性的市场话语权。
具体而言,我重点测评了以下几项核心命题:
智能体能否在持续观测真实业务结果中实现渐进自愈(还是说高阶模型一次推理就能一步直接到位)?
智能体在一家企业身上学到的策略经验,能否无缝复用到另一家(相似?抑或截然不同?)企业上?
客户的私有数据中,究竟是否包含竞争对手所无法提供的独特增量——换言之,纳德拉倡导的“所有企业皆是复利闭环”以及Applied Compute提出的“专属智能”(Specific Intelligence)论断,在底层逻辑上究竟能否站得住脚?
路由器平台的超额优势,是否直接取决于其对目标企业而言的新鲜盲区体量,从而只要企业持续撞见未知新问题,该优势就能长盛不衰?
相较于各自为战的单体客户,路由器的规模效应能否使其以更快节奏、更低门槛接入低成本模型或垂直领域微调模型?
为了推演并解答这些疑惑,我采用了Sierra的tau2-bench评估框架。
这是一个用于对多领域客服智能体进行量化评测的沙盒基准。每个领域均明确了智能体必须恪守的业务规范、可调用的工具集合,以及一系列用来测定智能体综合表现的业务工单,
横跨航空运输、零售消费与电信运营三大板块。我将每项任务设定为一个客户支持工单:模拟一位带有隐性诉求的客户致电掌握了公司业务规范与工具链的智能体;工单结果非成即败。我以点数对智能体进行量化打分——每1点对应1个百分点的工单成功闭环率。参与评测的客户均为合成生成的企业实体,它们共享电信领域的业务流程与工具链,但在问题分布上存在显著分歧(客群体量各异、痛点类型互斥)——举例来说,某家公司从未遭遇过的偶发故障,可能恰好是另一家公司的家常便饭。工单以批量形式注入,智能体则基于这些携带绝对真实标签的工单进行持续反思学习。
学习演进主要发生在围绕固定基座模型的外围脚手架层,分为双轨演进路径:(i) 剧本沉淀学习器(Playbook Learner):将执行失败的交互转录文本交付给更高阶的模型,由后者精炼或修正出一份精炼的操作备忘录,动态注入智能体的系统指令;(ii) 案例检索学习器(Case Retrieval Learner):在智能体开启每一轮对话前,向其检索并呈现三条相似度最高的历史工单(两条已妥善解决,一条未解决)。每个学习器均细分为三种不同历史数据读取权限的变体版本:(1) 仅限读取本企业私有日志;(2) 读取全行业聚合日志;(3) 仅限读取其他竞对企业的历史日志。
实验结论揭晓。整体而言并未出乎意料——基于经验的学习机制确实立竿见影,但随着模型智能水平的攀升,这种学习红利的边际效益正在显著收窄。一款中等性能的模型(实验中使用的是gpt-5.6-luna)在基准测试中最初只能搞定100个棘手工单中的17个;而一旦让其在自身失败案例中反思迭代,其工单解决量能迅速飙升至53个。
然而,利用自身私有数据闭门造车进行自监督微调,其效果反而不及直接从他人的经验数据中汲取养分,即便各家企业所面对的客群画像存在真实维度的显著差异。
甚至面对的是那些企业此前早已见识过的常见故障,
一个仅在其他竞对企业数据上浸润出来的脚手架方案,其最终胜率依然稳稳压制了完全基于自身历史数据调优的方案,高出了整整6个百分点!
这微弱却致命的6点代差,清晰地印证了“残差可迁移不确定性”之于路由器平台的核心命脉所在:面对那些波澜不惊、鲜有变数的固有业务范畴,一旦你已经踩遍了大部分坑,中心化平台能够向你让渡的增量价值空间便会急剧萎缩。模型本身的演化红利亦是同理(尽管这只是对其他领域的推测,但在客服这类规则清晰、高度可仿真的场景中大概率成立)——随着底层模型日趋强悍,原先依赖外置脚手架或后训练机制解决的问题,逐渐被新版模型自带的通用推理能力全盘吸收。但这一测试结果更是无情地揭示了一个事实,跨企业历史日志库所涵盖的错误样态,其丰富度和对比度远超单体企业自身沉淀的狭隘样本,因而在提炼有效策略时具备更高的信息密度。
这是对纳德拉倡导的“一切企业皆是复利闭环”以及Applied Compute所抛出的“专属智能”假说的一场正面对决与去伪存真。所谓“因客而异的专属护城河”在实验中根本未见踪影:任何一家企业从自身工单流中摸索总结出的规律,没有一条是无法从竞争对手的失败日志中同等习得的。只要一家企业面临的痛点与其竞对本质雷同,所谓“专属智能”的说法,充其量不过是一场精心编织的自嗨真人秀,其唯一的功用,就是为了安抚那些因掉队焦虑而紧紧抱住“企业数据即核心壁垒”教条不放的管理层罢了。
对于那些全新衍生的故障类别(即tau2中的新型“issues”,比方说在电信场景中突然爆发的跨区漫游异常与短消息通道中断),路由器平台的破局成功率足足高出单体企业11个百分点;但面对那些企业此前遭遇过的旧患,平台的相对胜势便微乎其微。我们不妨将其定义为“新鲜度红利”(Novelty Advantage)。这极其纯粹地锁定了路由器平台的立身之本——世界之熵:只要现实世界持续喷涌出全新的复杂故障类型,“残差可迁移不确定性”就永远成立,路由器的超额价值就坚如磐石。
诚然,持续下跌的推理资费与层出不穷的高性能新模型,亦在为路由器平台源源不断地输送维持其运转所需的“外部输入熵”。事实上,基座模型越“聪明”,其所倚仗的外挂脚手架就越“轻盈”,而对单体应用而言,频繁适配并无缝迁移至最新模型架构(乃至兼顾底层五花八门的异构算力芯片)是一场成本极其高昂的工程灾难,但这对于坐拥规模效应的中心化平台来说,却能以极高的性价比平摊消化。我们的对比实验显示,新模型的引入确实大幅削减了智能体的人工介入成本,然而平台模式相较于本地自研智能体的相对壁垒幅度,在此维度上尚未呈现出压倒性的绝对代差。
AI之所以令人困惑,恰恰在于其内部充斥着两股剧烈撕扯的极化动能,一方面是强调去中心化与“自给自足最大化”的离心力(“一切都是暗池”,将核心推理过程深锁在视线之外,牢牢垄断那些只有你自己能够感知的现实世界专属传感器数据);而另一方面,则是追求全栈“极致效率最大化”所带来的势不可挡的中心化向心力。
就我而言,本次沙盒推演彻底打破了对于“专属智能”的盲目崇拜与天真幻想。绝大多数企业根本不具备所谓“唯我独有”的独家观测数据;正如上述严苛测试所昭示的那样,自身数据能够带来的启示,从竞争对手的数据日志中同样唾手可得。若仅仅因为“纳德拉这样喊过口号”便盲目跟风押注自研专属智能,其结局大概率难逃碰壁——除非你极其清醒地洞察到贵司究竟独占了哪些不可替代的核心价值主张,并且想透了高度差异化的专属AI究竟该如何为其提供不可逆的底层赋能。
法律AI领域极难成为滋养“专属智能”的优质土壤。律所的攻防手段与文书逻辑几乎完全摊在交易对手方的聚光灯下,更不用提行业内部合伙人跳槽早已司空见惯。同理,客户服务领域恐怕也绝非专属智能的良田:能够跑出极高NPS(净推荐值)的卓越服务范式,本质上高度具备跨行业通用性。若一家企业仅仅将客服视作必须严控预算的成本中心,那么拥抱“效率极致最大化”(而非执拗于“数据自给自足”)无疑是性价比更优的战略抉择。
总而言之,只要“残差可迁移不确定性”居高不下,抑或平台底层维度的规模经济效益占据绝对主导,中心化路由器便能作为一家名正言顺的“学习闭环”平台持续繁荣。这种规模经济红利不仅横跨对汹涌而来的新型模型的动态调度,未来更将全面下沉至底层异构芯片层面的全量编排。真正的“专属智能”唯有在企业的业务边界与痛点完全独树一帜时方能成立,而这往往深植于具备极度稀缺传感感知的特权赛道——诸如OpenEvidence、Waymo、Instagram或Oura所构筑的护城河。然而,这世上绝大多数企业根本无缘置身于此类特权壁垒之中;相较于纳德拉或Applied Compute所描摹的“自给自足闭环”,这些普通企业若能倒向“极致效率最大化”,反而能收获远为稳健的商业报偿。假若对手遇到的阻碍早已将你该踩的坑尽数道破,那么耗费巨资强推所谓的“专属智能”纯属自欺欺人。
到头来,你折腾出来的不过是一个拙劣低劣的二流路由器罢了。
译者:boxi。