NVLink Fusion与UALink对决：超节点Scale-up互连技术全解析

超节点这个概念前两年还只在系统架构师的小圈子里打转今年已经被推到AI基础设施规划的台面上反复讨论。原因不复杂单张GPU的显存和算力顶到了物理极限训练一个万卡级模型光靠传统scale-out那套以太网根本喂不饱算力集群的胃口。多机并行、专家并行、张量并行跑起来节点内的通信带宽需求直接从GB/s级别跳到TB/s级别而且是延迟极低、拥塞可控的那种。在这一轮互连技术博弈里“NVLink Fusion”和“UALink”恰好站在了分岔路的两端一边是NVIDIA用自有生态把GPU“焊”成一个虚拟大芯片另一边是AMD、英特尔、博通、谷歌、Meta等一长串玩家想用开放标准把这个赛道撕开口子。这篇文章不打算两边唱赞歌我只想从Chiplet和超节点Scale-up的实际角度把这两套方案的来龙去脉、技术取舍、落地节奏以及你在方案选型时到底该怎么想一次说清楚。1. 超节点与Scale-up互连为什么它突然成了香饽饽1.1 超节点到底是个什么“节点”先把这个词掰开。所谓超节点不是某个硬件的正式型号而是一种系统组织方式把几十甚至上百个加速器通过高带宽、低延迟的互连网络组合在一起对外呈现为一个巨大的“逻辑计算节点”。也就是说从软件视角看你面对的不是一堆分散的加速器而是一块容量巨大、带宽极高、近似统一的“超级GPU”。NVIDIA的GB200 NVL72就是一个典型把72颗Blackwell GPU通过NVLink组成一个域机架内的通信走NVLink机架间才走InfiniBand或以太网。这个域内的GPU可以像单卡一样被调度张量并行、专家并行的效率远高于跨精密网络通信。这个思路在系统术语里叫“Scale-up超节点化”核心目标是让一个加速域内的通信尽量靠近芯片级延迟和带宽。1.2 Scale-up和Scale-out差的不只是字面很多人把集群架构简单理解成“机器多就行”但在大模型训练场景里“机器多”和“机器快”是两回事。Scale-out是横向扩展通过增加服务器数量来提升整体吞吐主要靠网络把机器连起来节点之间的通信通常走InfiniBand、RoCE这类网络协议带宽在单链路400Gbps到800Gbps之间延迟在微秒级。Scale-up则是纵向扩展把多个芯片在一个物理域内做紧耦合互连带宽通常以TB/s计延迟目标是亚微秒甚至纳秒级。这两者之间的差距直接影响训练效率。以GPT级模型为例张量并行是模型并行中最“吃带宽”的方式它在每个Transformer层内部把矩阵切到多卡上每做一次前向反向都会产生大量中间结果同步。如果这个同步走的是网络延迟就会被放大到几十微秒严重影响计算利用率如果走的是板内互连延迟压缩到百纳秒级GPU利用率能高出一大截。这就是超节点Scale-up的核心价值——把“网络瓶颈”尽量压到系统内部让加速器之间像同一个芯片的多个内核那样协作。1.3 现有技术为什么顶不住插一句为什么不用现在成熟的PCIePCIe 6.0单链路带宽也确实到了64GT/s但它是通用IO总线协议开销大、延迟高而且拓扑上以CPU为中心设备间通信要过根复合体不适合大规模GPU到GPU的紧耦合。CXL作为一种内存语义互连虽然前景光明但它的主要场景是内存池化和缓存一致目前带宽和GPU数据搬运的实际需求还有距离。真正推动超节点互连走向专用化的是GPU本身每颗新一代AI芯片都要以TB/s量级跟邻居交换数据只有专门为加速器设计的互连协议才扛得住。2. NVLink FusionNVIDIA生态里的“完全体”2.1 从NVLink-C2C到“融合域”NVLink对老玩家来说不陌生它是一套点对点、高带宽的GPU互连协议已经从NVLink 1.0一路走到了NVLink 5.0单链路带宽越来越高拓扑也从简单的GPU两两互连发展成了带Switch的全局互连。NVLink Fusion是NVLink生态里更前沿的形态它不只是一个物理接口更是一整套系统级融合方案通过NVLink Switch把多张GPU连接成单一计算域让软件层看到的是一个“融合”的、逻辑统一的大加速器。用Chiplet的视角理解更直观GPU内部本身已经是多die结构比如双die封装die之间用NVLink-C2CChip-to-Chip互连这属于片内/封装级Scale-up。而NVLink Fusion把这一套思路从die与die之间延伸到了机柜里的GPU与GPU之间甚至跨机柜。也就是说NVIDIA想让你在物理上是一个机柜在逻辑上是“一颗芯片”。这种系统级设计的复杂度极高但收益也极直接——跨节点通信的带宽提升一个数量级软件可以像调度单卡一样调度整个超节点。2.2 技术结构NVLink Switch是绝对核心NVLink Fusion的骨架是NVLink Switch。以当前NVL72的风冷/液冷版本为例机架层有多个NVLink Switch托盘每个Switch有NVLink端口打通GPU与GPU之间的全互连拓扑。Blackwell架构里NVLink 5.0每端口单向带宽做到了100GB/s级别双向200GB/s单GPU的NVLink总带宽可以达到1.8TB/s。这么一算72颗GPU之间的聚合带宽是极其恐怖的超出了传统以太网几个数量级。在Grace Blackwell平台上CPU与GPU之间也走NVLink-C2C带宽高、延迟低统一内存模型下CPU和GPU可以直接共享数据不用来回拷贝。这个“CPUGPU统一寻址”的能力配合NVLink Switch的全局拓扑才是NVLink Fusion真正的杀手锏。它把“CPU站在旁边指挥GPU跑数据”变成了“CPU和GPU一起坐在同一辆车上共享同一片地址空间”。2.3 实测体验软件生态是隐形护城河我实际接触GB200 NVL72这类系统时最深的感受不是参数有多高而是CUDA生态对这套互连的调用太顺手了。开发者不需要知道GPU连在哪个Switch端口也不需要手动设计通信拓扑CUDA的拓扑感知通信库和NCCL会自动识别NVLink域运行时自动选出最优路径。对比一下如果在通用网络上跑分布式训练你需要手动调网络拓扑、设置路由策略、绕开拥塞链路光调优就够喝一壶的。这套东西跑起来之后多卡之间的all-reduce、all-to-all这类集体通信延迟和带宽都稳得离谱。在NVL72上跑8B参数模型的张量并行通信开销几乎被压到了不可感知的程度GPU利用率比传统网络方案高出一大截。当然前提是你的工作负载真的能在72卡内放下或者你的模型并行策略能充分利用这个“超级GPU”。2.4 优点与代价这套方案的AB面先说优点性能天花板极高、软件栈成熟、部署运维相对简单一个域内部的互连不是网络而是“总线”。再说不那么好看的一面封闭性。NVLink Fusion从物理层到协议层到驱动层全部是NVIDIA私有接口你只能在NVIDIA提供的硬件框架里玩。想混插AMD卡、自研ASIC门都没有。而且NVL72这种系统机架功率密度极高散热供电要求非常苛刻不是每家数据中心都玩得动。3. UALink冲着“开放”而来的新玩家3.1 谁在攒局想解决什么问题UALinkUltra Accelerator Link是由AMD、英特尔、博通、思科、谷歌、Meta、微软、惠普等一大票行业巨头共同推动的开放互连标准目标很明确为AI加速器之间的Scale-up互连提供一个开放、可互操作的方案避免被某一家公司的私有协议锁死。这个联盟的阵容本身就是一种态度几乎所有“非NVIDIA阵营”的头部玩家都站到了一起要定义一套GPU到GPU、加速器到加速器的互连规范。从动机上看UALink出现的背景跟当年CXL的诞生很像——当某个关键技术私有化程度太高下游厂商和应用者都会感到不安于是抱团搞一套开放的行业规范提高话语权。UALink从一开始就没有打算在每一个技术维度上对标NVLink的具体实现而是想先把开放生态的基础打好再逐步迭代。3.2 规格解构UALink 1.0和未来路径UALink 1.0规范的核心是“Scale-up的GPU到GPU互连”。它定义了一组基于SerDes的物理层和链路层协议每对链路带宽200Gbps并且支持把多条链路聚合成更高的带宽让单个加速器可以获得数百GB/s到TB/s量级的聚合带宽。UALink规范也定义了交换结构允许通过UALink Switch组成多种拓扑而不像PCIe那样天然对等限制很多。UALink 2.0的目标更进一步要在加速器上做到每端口1.6Tbps的量级并且引入更细粒度的内存语义支持共享内存、原子操作等特性。从这些规格可以看到UALink做的事跟NVLink Fusion本质上是一类都是想解决加速器之间的紧耦合通信只是UALink不做垂直整合它给的是开放规范允许不同厂商的加速器和交换芯片在同一框架下互操作。3.3 开放标准能复制CXL的路线吗CXL是开放互连标准最典型的成功案例从内存池化到缓存一致性一步步建立起了生态。UALink的路线有一定相似性先立规范再找伙伴做兼容芯片然后通过联盟推动软件适配。但UALink面临的困难会比CXL更大原因在于GPU互连的软件栈复杂度远高于内存互连。NVIDIA的NCCL是经过十年优化才达到如今的性能UALink要复刻这套软件生态不是把协议栈写好就行还得让PyTorch、DeepSpeed等框架在运行时识别UALink拓扑并且给出跟NVLink媲美的通信性能。现实地说UALink的硬件落地已经开始了。AMD的MI300系列和相关加速器平台已经明确支持UALink规范英特尔的Gaudi也在考虑兼容路线博通在交换芯片上也在布局。但硬件有了软件调优跟上还需要时间。对开发者来说可能还需要观望一到两年才能真正在主流框架里无感地跑在UALink集群上。3.4 实测进度的冷静预期在公开测试里UALink尚未像NVL72那样形成大规模商用案例大多数还是实验室验证和参考设计阶段。这并不意味着技术不行而是开放标准的演进节奏通常更慢需要定义规范、实现芯片、验证互操作性、然后才上量。我接触过一些做互连芯片的工程师他们对UALink的物理层设计评价不低认为SerDes部分已经足够成熟真正难的是链路层的一致性和多厂商设备之间的协同调试。4. NVLink Fusion和UALink的正面对比4.1 关键参数与定位对比下面这张表把两套方案放在一起看更清楚对比维度NVLink FusionUALink组织方式NVIDIA私有、垂直整合开放联盟多厂商共建单口带宽当前双向200GB/sNVLink 5200Gbps/口多链路聚合加速器聚合带宽TB/s级单GPU 1.8TB/s目标达到TB/s级1.6Tbps/口以上交换拓扑NVLink Switch全互连UALink Switch支持多种拓扑软件生态CUDA NCCL成熟度高开放生态正在建设典型部署GB200 NVL72等机架级超节点多厂商加速器的开放式超节点延迟目标亚微秒级亚微秒级目标可互操作性不支持非NVIDIA设备推动跨厂商互操作当前成熟度已商用规模落地1.0规范已发布2.0在推进这张表的信息量在于硬件规格上两家的终极目标非常接近都是奔着TB/s级带宽、亚微秒延迟去的。真正的差距集中在“软件生态”和“开放程度”上。4.2 “封闭但好用”和“开放尚需打磨”的选择如果你身处一个已经全面拥抱CUDA的团队训练脚本、框架版本、通信库都基于NVIDIA优化过那NVLink Fusion几乎是顺理成章的选择。性能确定性高出了问题有完整工具链可以debugNVIDIA的工程师团队也能给出系统性支持。这个路径不便宜但省心。反过来如果你的目标是构建一个多供应商、可选性更高的基础设施或者你所在的组织希望减少对单一供应商的依赖UALink在战略层面更有吸引力。代价是你需要接受软件生态还在追赶的现实短期内可能需要自己做更多底层通信优化或在框架层面做适配。这就像消费数码里“苹果全家桶”和“开放安卓生态”的选择一个省心好用但锁死一个自由灵活但需要折腾。4.3 两种方案不是单纯的替代关系还要提醒一句在很多实际部署里这两者可能不是二选一而是分层共存。比如一个数据中心的Scale-out网络仍然用InfiniBand或RoCEScale-up域内用NVLink或UALink不同超节点之间用网络连接。甚至在一个异构集群里NVIDIA GPU构成的超节点用NVLink Fusion自研加速器构成的超节点用UALink各跑各的通过上层调度统一编排。这在现实中完全可行毕竟大模型训练框架早就支持异构后端了。5. Chiplet藏在背后的那张底牌5.1 Chiplet和Scale-up互连是互相成全的讲这两套互连方案绕不开Chiplet。Chiplet的概念是“多芯粒、异构集成”一个大芯片拆成多个小芯粒每个芯粒用不同工艺制造再通过先进封装比如CoWoS或板级互连组装在一起。这样做的好处是良率高、成本可控、可混搭不同工艺节点。那么Chiplet和Scale-up互连的关系是什么加速器的计算能力越强单个die的面积和功耗就越难做于是大家纷纷走上multi-die路线两个或多个计算die封装在一起组成一个“逻辑GPU”。die之间需要高带宽、低延迟的互连这就是Chiplet层面的互连Inside Package。在AMD的MI300、NVIDIA的Blackwell上都能看到这种多die设计die间互连带宽极高数据通路被压缩到纳秒级别。当Chiplet把“加速器内部”的互连密度推高之后自然会把这类互连技术外推去连接同一机架内的多个加速器。这就是NVLink Fusion和UALink从“芯片内部互连”延伸到“机架级互连”的逻辑——先有Chiplet的紧耦合思路才有超节点Scale-up的落地可能。可以说Chiplet是技术底层的铺垫NVLink Fusion和UALink是上层应用的需求体现。5.2 从die-to-die到node-to-node互连的四层递进把互连体系拆开大致是四层第一层是die-to-die几个计算die在封装内互连走的是UCIe、NVLink-C2C这一类第二层是accelerator-to-accelerator多张加速卡通过板内或机架内互连组成一个超节点NVLink Fusion和UALink处于这一层第三层是node-to-node多个超节点之间通过InfiniBand、RoCE、以太网组成集群第四层是跨数据中心的广域连接通常走光纤网络。NVLink Fusion和UALink的战场恰好集中在第二层。这一层的核心挑战是既要提供接近芯片级的高带宽低延迟又要处理跨板卡、跨机架的物理传输可靠性。从Chiplet的角度看第二层实际上是把第一层的互连语义往外扩展让软件在统一地址空间里访问整个超节点。5.3 开放互连和Chiplet生态的呼应UALink和Chiplet理念背后的开放性其实很同步。Chiplet的核心是“用开放的小芯片模块拼出灵活的大系统”UALink则是“用开放的互连协议把多个加速器拼成超节点”。两者叠加在一起意味着未来的AI加速器不再一定是“一家公司的整机”而是可以由不同厂商的die、不同厂商的加速器模块、不同厂商的交换芯片组合而成。这种模块化思路对自带超大规模数据中心的大厂来说尤其有吸引力他们可以有更大的供应链弹性和定制空间。NVIDIA当然也看到了这个趋势但它选择了自己定义一切自己的die、自己的封装、自己的互连、自己的软件。这条路在性能一致性上无可匹敌却也把生态系统封闭在了NVLink这个私有体系内。两股力量的博弈本质上就是“垂直整合型”和“开放模块化”这两种硅基世界路线之争。6. 实操与选型技术之外你还需要关注什么6.1 规划基础设施时别只盯着带宽数字很多人看互连方案上来就问“带宽多少”。带宽当然重要但实际部署里我更建议先问几个更底层的问题第一你的工作负载到底有多吃Scale-up通信如果主要跑数据并行加少量专家并行那么超节点Scale-up的收益可能没那么明显传统Scale-out方案也够用。如果是张量并行重度用户或者训练超大模型、频繁做all-to-all操作那Scale-up互连带来的提升是实打实的。第二你的团队有没有能力吸收新生态的适配成本选择UALink这类开放方案短期可能需要自己写通信适配层或者紧密跟进联盟的驱动更新。如果团队以应用开发为主没有太多系统底层能力这时候NVLink Fusion的“开箱即用”优势就会被放大。第三你的数据中心供电散热能不能支撑高功率密度机架不管选哪套方案超节点都是电老虎液冷几乎是绕不开的。这个在规划阶段就要评估等设备进场了再改就晚了。6.2 一条务实的行动路径参考根据我看到的行业节奏给个比较务实的参考路径如果2025到2026年就要交付大规模集群且预算充足NVLink Fusion路线是当前最确定的选择性能和软件都成熟风险最小。如果你在长周期规划下一个代际基础设施2026年以后建议把UALink纳入技术预研关注联盟的标准进展和AMD等厂商的落地产品评估互操作性、驱动稳定性和框架适配情况。无论选择哪条路都要在软件层保持设计上的可移植性。尽量在训练代码里不绑定特定互连的专属API通过NCCL或RCCL这类通用通信库的抽象层去做。这样未来无论是NVLink Fusion还是UALink代码改动都在可控范围。6.3 几个容易踩的坑再分享几个实操中容易踩的坑。第一低估拓扑感知的价值。NVLink Fusion里GPU之间不是所有路径都等价的通信库会自动选路在UALink体系里初期驱动和通信库可能不会做那么精细的拓扑优化你需要自己留意加速器插槽位置、交换端口分配手动调整通信映射。踩过坑的人都知道拓扑没对齐再高带宽也白搭。第二别把“标准支持”和“生态成熟”混为一谈。UALink规范发布不等于框架里就能直接用也不等于性能立刻达到NVLink级别。评估时一定要做PoC用你的真实模型跑一版对比延迟、带宽和利用率而不是只看PPT参数。第三注意互连协议和内存模型的关系。NVLink Fusion在Grace Blackwell上支持CPU和GPU统一内存这给编程带来了很大便利UALink如果想在开放生态里做同样的事情必须把内存语义定义得非常清楚而这一步往往是最难的。如果应用重度依赖共享内存和细粒度原子操作要重点考察方案在这方面的成熟度。7. 最后再聊几句个人体会互连技术平时看起来不如GPU算力、模型架构那么“性感”但每次算力突破背后都站着互连这个“无名功臣”。从PCIe到NVLink从InfiniBand到RoCE再到现在的NVLink Fusion和UALink之争底层逻辑都是同一个让数据以更快的速度、更低的成本在计算单元之间流动。我个人的倾向是短期看NVLink Fusion仍会牢牢占据高端超节点市场因为软件生态和系统成熟度太强了中期看开放阵营不会坐以待毙UALink会让超节点互连从一个纯封闭的“黑盒”变成可选择、可定制的标准件这对整个行业都是好事。长期看真正的赢家不是某一套技术而是能把互连性能做成“业务增量”的人——不管你是买NVLink Fusion还是用UALink最终比拼的还是你能不能把带宽和延迟换算成模型的训练效率和成本优势。这波技术演进不只是硬件之争更是系统设计哲学的分野。对做基础设施的人来说保持开放心态、持续做技术预研比押注某一方更重要。踩过几次互连拓扑的坑之后我的体会是好方案不是参数最高的那个而是最适合你和团队的那个。