企业级Token混合成本一年内从18.40美元/百万Token降至6.07美元，下降67%。与此同时，中国日均Token调用量从2024年初的1,000亿攀升至2026年3月的超140万亿，两年增长超1,000倍。
这就是AI时代的杰文斯悖论——效率越高，应用越广，总消耗越大。Token单价的持续下降，并没有让总支出收缩，反而打开了指数级的应用空间。IDC预测，全球活跃AI智能体将从2025年的约2,860万个增至2030年的22.16亿个。当智能可以规模化生产，核心问题已经变成：怎样用最低成本、最大效率持续产出Token？
但比GPU代际迭代更值得关注的，是另一个结构性事实：同样一批GPU，在不同网络和存储架构上，Token产出成本可以相差数倍。
水面之下：真正决定Token产出的隐性变量
行业习惯用FLOPS衡量AI基础设施。但以DeepSeek-R1推理为基准，新一代GPU平台相较上一代：每美元FLOPS提升约2倍，每GPU的Token/秒却从约90提升至约6,000（提升约65倍），每百万Token成本从约4.20美元降至约0.12美元（降低约35倍）。算力指标增长2倍，业务产出却增长数十倍？
差距从何而来？低精度计算（FP8/FP4）、RDMA/GPUDirect RDMA、投机解码、KV Cache卸载与复用、Prefill/Decode分离调度——每一项都不只是芯片层面的进步，而是基础设施层面网络与存储的系统性协同设计。
“推理冰山”的比喻恰如其分：水面之上是GPU数量和FLOPS，水面之下才是决定实际产出的变量。网络和存储，正是水面之下两个最大的杠杆。
IDC数据显示，2026年AI推理成本在企业AI预算中已超80%。一座GW级AI数据中心的四年TCO约550亿美元，其中网络和存储合计占基础设施TCO的16%-18%——不到五分之一的投资，决定了五分之四以上资产的运行效率。也就是说，网络与存储的规划失误，会被直接放大进那80%以上的推理预算里——这是最容易被忽略的一笔账。
网络：从“连接管道”到“神经系统”
传统数据中心中，网络是“管道”——把数据从A搬到B。但在Token工厂中，网络的角色已经发生质变。
MoE架构的All-to-All通信把GPU间通信从“突发”变成了“持续”；PD分离后KV Cache跨节点读写成为常态；上万推理并发下，每一次响应都要经过上百次GPU间往返。网络延迟每增加1微秒，都会在上百次通信中被放大为Token产出的直接损失。
行业实际部署数据表明：在万卡集群中，采用动态路由（AR）优化的网络带宽利用率可达约95%，传统以太网仅约60%。35个百分点的差距，等效于数千万美元的GPU投资被闲置。您的集群现在落在哪个区间？如果长期停在60%一侧，那剩下对应的闲置算力，就是最容易被忽略的成本——而它往往不是GPU买少了，是网络没跟上。
网络效率的兑现需要四个维度逐级递进：速度（微秒级延迟+800G→1.6T带宽+RDMA三步直达）、效率（动态路由+拥塞控制将利用率从60%拉升至95%）、架构（Scale-Up/Out协同+网络计算，万卡集群维持百卡水平）、能效（在约40万GPU集群中，CPO光电封装将网络功耗从72MW降至21MW，节省约70%）。
四层不是并列关系，是逐层收敛——速度决定响应体验，效率决定单次服务成本，架构决定用户规模上限，能效决定普惠服务的空间。对最终用户而言，网络性能并不是抽象的带宽和延迟指标，而是 AI 助手能否快速响应、复杂任务能否流畅完成，以及高峰期服务是否依然稳定。网络延迟降低，用户等待的时间就可能缩短；通信效率提升，意味着同样的 GPU 资源能够支撑更多请求，企业也有机会以更低的成本提供 AI 服务；架构具备良好的扩展能力，才能在用户量和任务复杂度持续增长时，避免服务质量随规模扩张而下降；而能效的改善，则有助于控制 AI 服务长期运行的成本，为更广泛的应用和更普惠的定价创造空间。
网络已从“连接配件”升级为决定Token产出速度的“神经系统”。神经系统的速度不是由最快的那段决定，而是由最慢的那段决定。
存储：从“数据仓库”到“工作台”
另一条同样重要的线索在存储侧。
KV Cache代表了一类面向推理过程的AI原生数据形态：它是派生的（由Prefill计算产生）、瞬态的（生命周期跟随一次会话或一个智能体任务）、可重算的（丢失后可通过GPU重新计算）。这三个属性意味着，传统存储为“永久保存、绝不丢失”而设计的RAID、多副本、异地灾备等机制，对KV Cache而言是额外开销。
这一认知转变是新存储范式逻辑的起点。当上下文长度达到百万级，每次推理从头计算的成本远超缓存读取——用廉价的NVMe SSD存储替代昂贵的GPU重复计算，这是“以存代算”的核心经济逻辑。
新一代AI原生存储为此做了全栈重构：KV原生接口替代传统文件/块/对象接口，I/O路径极致精简，读写延迟降至接近NVMe硬件极限；分级保护策略取代一刀切的持久化体系，优先保障吞吐与时延；智能介质选择依据数据热度在内存、SSD与通用存储间动态调度；DPU硬件卸载实现CPU与GPU的零I/O开销。如果您的存储团队仍在按“绝不丢失“的口径设计KV Cache，这部分开销就是浪费——不是存储买贵了，是设计范式用错了对象。
MLPerf基准测试显示，新一代AI原生存储推理吞吐量和能效较传统方案提升约5倍；在多厂商联合测试和VAST 测试中，首个Token生成响应时间（TTFT）分别改善约9倍和约20倍。存储不再只是模型层的附属仓库，它是与计算和网络并列的基础设施独立支柱。
一个判断：系统级协同优于单点突破
三个结构性转向正在同时发生：用“每Token成本”替代“每美元FLOPS”作为核心评估指标；网络投资应与GPU同节奏规划，而非事后补网；KV Cache应被视为独立数据类别，而非传统存储上的“特殊文件”。
三个转向叠加，是Token成本结构性坍缩的基础设施前提。
在AI从“烧钱”走向“赚钱”、从“特权”走向“普惠”的过程中，网络和存储不一定是投资额最大的两个部分，但它们是决定整个Token工厂效率上限的两个核心变量。改变任何单一层面的效率，不如打通层与层之间的协同瓶颈——这才是Token工厂隐形的天花板。
行动建议
- 用“每Token成本”替代“每美元每秒浮点运算次数（FLOPS）”作为评估与资源配置的核心指标。
- 网络投资与GPU同节奏规划，而非事后补网——网络占TCO不到10%，却决定45%的GPU资产效率。
- 将KV Cache视为独立数据类别，采用KV原生接口与分层存储，实现“以存代算”。
IDC相关研究
《AI Token工厂的网络与存储加速》，Doc# CHC54979226，2026年10月
进一步交流
网络与存储如何影响Token产出成本，不同集群规模、不同推理负载下的瓶颈位置并不相同。如果您正在规划或优化AI基础设施，希望结合自身情况做一次针对性讨论，欢迎联系IDC分析师团队。我们可基于实际部署数据与TCO模型，帮您判断瓶颈落在网络四层中的哪一层、KV Cache是否该切换范式。期待与您交流。请点击此处与我们联系。