GPU 节点互联与分层带宽
GPU 性能不是一个 FLOPS 数字，而是 HBM、GPU 间 NVLink/NVSwitch、CPU–GPU PCIe、节点间网络 四层数据通路的共同结果。
是什么
GPU 节点互联描述 CPU、主机内存、GPU 显存和 GPU 之间的连接方式；分层带宽是按数据路径分别测量容量、方向、延迟、并发上限的工程方法。
为什么重要
- 相同 GPU 数与标称 TFLOPS 的集群，拓扑不同，训练吞吐可以显著不同。
- TP、EP、ZeRO/FSDP 的通信是否留在 NVLink 域内，还是落到 PCIe/跨节点网络，决定扩展效率。
- host↔device 异常常源于 PCIe 降速、NUMA 选错 socket、DMA buffer 或数据管线，而非 GPU 算力。
工作原理
- HBM ↔ SM/Tensor Core：单 GPU 的本地数据供给，影响 memory-bound kernel、KV cache 等。
- GPU ↔ GPU（节点内）：PCIe P2P、NVLink 或 NVSwitch；NVSwitch 将有限配对链路组织为更均衡的交换域。
- CPU DRAM ↔ GPU HBM：一般走 PCIe；generation、lane width、root complex、NUMA 决定效果。
- 节点 ↔ 节点：InfiniBand/RoCE 等，决定跨节点 DP/PP 的扩展。
先问“数据从哪里到哪里”，再比较数值。单向、双向、聚合带宽并非同一个指标；理论链路值也不等于应用有效带宽。
SXM、HGX、DGX
- SXM：服务器 GPU 的模组形态；并不意味着 CPU–GPU 不经 PCIe。
- HGX：GPU 子系统/底板平台，常用 NVSwitch 组织多个 SXM GPU。
- DGX：完整整机产品，除 GPU 子系统外还有 CPU、内存、存储、NIC、软件栈和整机验证。
历史与演进
PCIe 是早期多 GPU 的主要互联。NVLink 加入 GPU 间专用高速链路，NVSwitch 将它们提升为多 GPU 交换网络。规模继续扩大后，系统同时优化节点内 NVLink 域与节点间 InfiniBand/RoCE 域，框架再据此安排 TP/EP/PP/DP 通信边界。
常见误解
- “SXM 不是 PCIe。” 错。SXM 是模组形态；CPU–GPU 仍可用 PCIe。
- “NVLink 600 GB/s 等于每张卡都可随时拿到 600 GB/s。” 错。要写清每对/聚合、单向/双向、代际和总注入上限。
- “GPU Burn 分数就是训练性能。” 错。它主要验证高负载稳定性。
- “Gen4 x16 必然跑满。” 错。NUMA、内存位置、软件和系统负载都会影响 host↔device 实测。
与相邻概念的区别
| 概念 | 关注点 | 区别 |
|---|---|---|
| GPU 计算能力（TFLOPS） | 算术峰值 | 不解释数据是否及时送达 |
| NCCL collective | all-reduce/all-gather 算法 | 是软件通信层；本页说明它面对的硬件边界 |
| NUMA | CPU socket 与本地 DRAM/I/O 亲和性 | 是 host 侧拓扑，尤其影响 CPU↔GPU |
| 分布式并行 | TP/PP/DP/EP 切分 | 决定通信模式；互联决定通信代价 |