先给结论：推理阶段，搬运数据的成本常常高于计算本身

很多读者在看AI推理芯片参数时，第一眼盯的是TOPS或FLOPS。但在实际部署中，大语言模型每生成一个token，都要把海量权重从显存搬到计算单元附近。看个球在整理公开规格书时发现，同一档算力的芯片，显存带宽差一倍，端到端吞吐可能差出数倍。换句话说，推理芯片的瓶颈经常不在「算得快不快」，而在「喂得饱不饱」。

这也是看个球行业资讯栏目持续关注显存子系统的原因：它不像算力数字那样好宣传，却直接决定单位成本下的服务能力。

为什么带宽是推理的硬约束

以自回归生成为例，每输出一个token，模型需要读取一遍参与计算的权重。权重总量固定，输出token越多，搬运次数越多。当计算单元的处理速度超过显存供给速度时，算力就会闲置等待。

  • 带宽决定「每秒能喂多少权重」，直接影响单用户生成速度。
  • 容量决定「能同时装下多少模型与多少请求的缓存」，影响并发上限。
  • 带宽与容量的配比，决定这批芯片适合单机高吞吐还是多机横向扩展。

看个球提醒，公开规格书里的带宽数字通常是理论峰值，实际可达值受访问模式、缓存命中率影响，选型时应以厂商公开的实测方法说明为准，无法核验的部分标注为示例数据。

选型时该看的四组公开参数

第一组是显存类型与带宽，注意区分封装内显存与板载显存，两者的能效和成本结构完全不同。第二组是容量与模型切分能力，容量不足时模型必须跨卡切分，通信开销会吃掉带宽优势。第三组是互联带宽，多卡推理时卡间通信往往成为新瓶颈。第四组是能效比，数据中心场景下每瓦吞吐比峰值算力更有参考价值。

看个球在方案对比模块中，会把这几组参数放在同一张表里横向排列，避免读者被单一指标带偏。需要强调的是，任何对比都应回到具体模型与具体batch配置，脱离场景谈带宽高低意义有限。

常见误区与阅读建议

误区一：把训练芯片的评估逻辑直接套到推理上。训练看重互联规模与显存容量，推理更看重单位请求的时延与成本。误区二：只看单卡不看整机。推理服务的真实瓶颈常在主机内存、PCIe通道与网络。误区三：忽略软件栈成熟度，同一颗芯片在不同推理框架下的表现可能差距明显。

  • 先明确业务是低时延对话还是高吞吐批处理，再倒推带宽需求。
  • 优先查阅厂商公开规格书与框架官方支持列表，交叉验证。
  • 把看个球的产业数据页当作索引，最终决策仍以公开文档为准。

看个球会继续跟进公开动态，把复杂参数翻译成可比较的表格，让每一次选型都有据可查。