过去三年，关于AI的讨论一直围绕着谁能造出最大的模型。而那个不那么光鲜的问题——让模型每天回答数百万次、还不宕机，究竟要花多少钱——才是如今资金流失的地方。由红帽、IBM、谷歌云、CoreWeave和英伟达发起的开源推理项目llm-d迎来1.0版本，它瞄准的正是这个漏洞。

其中的机制值得说清楚。AI智能体不会问一个问题就离开。它会维持很长的会话，反复读取同样的文档，并发出并行的辅助智能体，以难以预测的突发方式冲击硬件。在这种模式下，处理上下文的成本可能高于生成答案本身。CoreWeave负责AI/机器学习工程的副总裁沙迪·萨巴表示，每个大规模提供模型服务的团队都会碰到“管理成本往往高于输出本身的上下文”。llm-d给出的答案是路由：把每个请求发送到已经缓存了其上下文的服务器，而不是从头重新计算。

Fisheye view of a server rack in the Datarmor high-performance computing and AI centre in Brest — Image: Gregory Rocher, Ifremer / Wikimedia Commons (CC BY 4.0)

1.0版本与其说带来了新招数，不如说是让现有能力可以安心地连续运行数月。该项目此前已在vLLM、SGLang等模型服务器之上提供感知缓存的路由、KV缓存卸载，以及把预填充（prefill）和解码（decode）两个阶段拆分到不同机器上的能力。新版本加入了优先级与公平性控制，让对延迟敏感的请求和突发负载的智能体可以共享同一个GPU集群而互不挤占；还加入了支持无停机升级的高可用路由器、稳定的v1配置API，以及让多轮对话始终靠近其缓存状态的会话感知路由。

公告中的性能数据来自贡献方自己的演示，因此应视为其自述，而非独立审计。在其中一项演示中，研究人员在广泛部署的英伟达GPU上运行了约7530亿参数的开放权重模型GLM 5.2，峰值时每分钟输出超过660万个token，并同时服务多达3000个编程智能体；他们称，按当前云端租用价格计算，每个token的成本比同等商用API价格低五到十倍。IBM研究院则报告，在一个面向量子纠错的芯片设计项目中，推理成本比完全专有的配置低11.5倍，缓存命中率约为98%。

更能说明问题的是谁已经在依赖它。JetBrains表示，其编程智能体免费方案Junie Lite的相当一部分流量由llm-d承载；DigitalOcean的无服务器推理运行在它之上，Mistral和Roblox也介绍了基于该项目搭建的服务层。谷歌云正在其整个TPU和英伟达GPU产品线上把1.0集成进Google Kubernetes Engine，AMD则将其引入自家的Instinct加速器。

llm-d创立于2025年，目前由云原生计算基金会（CNCF）托管，拥有来自25个以上组织的500多名贡献者。1.0版本于2026年10月20日在圣何塞发布，现已作为开源软件提供。

其后果是力量对比的转移。如果AI昂贵的部分在于服务而不是训练，那么谁掌控服务层，谁就掌控账单。llm-d试图确保这一层保持共享和开放，而不是被锁进某一家供应商的API。

标签: AI智能体, nvidia, 大语言模型, IBM, CoreWeave, Cloud Native Computing Foundation