东兴证券：超节点与Scaleup网络专题之英伟达：行业标杆，领先优势建立在NVLink和NVLinkSwitch

投资摘要： 大语言模型（LLM）参数规模从千亿级向万亿级乃至十万亿级演进，跨服务器张量并行（TP）成为必然选择；此外混合专家（MoE）模型在Transformer架构LLM中的规模化应用，更使跨服务器专家并行（EP）成为分布式训练和推理的关键技术需求。为应对TP和EP对网络带宽与延迟的极为严苛的要求，构建超高带宽、超低延迟的Scaleup网络（纵向扩张网络）成为业界主流技术路径。 目前英伟达超节点已经推出成熟方案。2024-2026年，英伟达陆续推出GH200NVL72、GB200/GB300NVL72、VR200NVL72三代超节点。 Hopper架构开启超节点Scaleup初步探索。GH200通过NVLink和NVLink-C2C（Chip-to-Chip）技术，使得每个GPU可以访问其他所有CPU和GPU芯片的内存，实现GPU与CPU内存统一编址。 Blackwell架构推动Scaleup标准化。GB200NVL72将Scale-up规模稳定在72个GPU/机柜，形成可复制标准化方案。NVL72由18个ComputeTray（计算托架）和9个SwitchTray（网络交换托架）构