超节点互连之争：NVLink Fusion与UALink架构对比与落地指南

这两年搞AI基础设施的人几乎都绕不开一个词超节点。早期大家拼的是单卡算力和集群规模后来发现Scale-out网络再快也扛不住大模型训练里那种密集的全归约和专家并行通信。于是互连的焦点从数据中心前端网络转移到了GPU与GPU之间、甚至Chiplet与Chiplet之间的短距离高带宽通道上。这个赛道里眼下最有话题性的两个名字一个是NVIDIA的NVLink Fusion另一个是开放计算阵营推的UALink。如果你正在规划下一代AI集群或者只是被各种“超节点”概念绕得有点晕这篇文章可以帮你把两套方案的来龙去脉一次讲清楚。我会从Scale-up的技术本质讲起拆解NVLink Fusion和UALink各自的架构选择、关键参数再结合实际部署经验给出一份对比和落地建议。不管你是做网络、做GPU集群还是做大模型训练平台都能从里面找到可以直接参考的判断依据。1. 先把背景补齐Scale-up 超节点到底是什么1.1 Scale-up 不是 Scale-out 的替代品很多人第一次接触超节点时会下意识把它理解成“更多卡的集群”。这个理解不算错但不够准确。传统集群走的是Scale-out路线一台服务器四张卡通过网络把几百台服务器连起来通信靠分布式框架自己协调。这种方式的好处是标准、灵活、坏了可以热迁移但坏处也明显——网络协议栈、排队、拥塞控制都会给通信带来额外延迟。Scale-up则换了一个思路先把计算单元在物理上捆成一个“超级服务器”让里面所有加速器共享同一份内存地址空间通信时主节点可以直接读写远端显存而不是先把数据打包成网络报文再发出去。用更直白的话说Scale-out是让一群人靠微信沟通Scale-up是让一群人坐在同一张桌子上开会。前者要处理‘消息延迟’和‘是否已读’后者只需要开口就能同步信息。互连技术的迭代本质上就是在不断缩短“开会”的距离。1.2 从单卡到超节点互连技术走过了三个阶段第一个阶段是PCIe时代。那时候GPU还只是“协处理器”CPU通过PCIe总线去访问显存。PCIe的带宽从Gen3的32GB/s一路涨到Gen5的128GB/s但协议本身是为CPU与外设通信设计的延迟高、控制复杂不适合做多卡之间高频次的小包同步。第二个阶段是NVLink为代表的私有直连。NVIDIA从P100开始引入NVLink让GPU之间可以绕过PCIe直接交换数据。这条通道带宽大、延迟低配合NVSwitch还能做全互联拓扑。实际上H100上每张卡就有18条NVLink链路双向带宽达到900GB/s这个数字已经远超任何一张PCIe网卡的能力。但请注意这套体系是封闭的只服务NVIDIA自己的产品。第三个阶段就是现在正在发生的超节点级别互连。单机柜内的8卡或16卡已经不够用了NVIDIA搞出了NVL72这种把72块GPU用NVLink域“缝”成一个逻辑单元的方案并且进一步引入光互连把距离拉长、把规模放大。与此同时AMD、Intel、博通、微软、谷歌、Meta等公司选择坐在一起抱团推出UALink想在加速器互连这个关键位置打开一个开放标准的口子。1.3 一个直观点的问题超节点规模为什么偏偏是72这类数字做集群规划时很多人会问为什么超节点不是8卡、不是128卡而是72、576这种数字。答案藏在“互联拓扑”和“信号完整性”里。拿NVL72举例72块GPU如果要做两两全互联连接数量是C(72,2)2556条这个规模靠单卡的物理引脚根本做不出来所以中间必须加NVSwitch做二级交换而加了几层交换之后延迟、功耗、布线复杂度都会上升。超节点的规模上限往往不是你“想要多少卡”而是“互连能不能在延迟和成本可接受的范围内把这么多卡连起来”。NVLink Fusion和UALink都是在这个问题上给出的不同答案。2. NVLink Fusion技术拆解把Chiplet的玩法搬到整个超节点2.1 NVLink Fusion的定位与设计思路很多资料会告诉你NVLink Fusion是NVLink的下一代但从架构角度看它更像是一次“把Chiplet思路放大到超节点”的尝试。先理解Chiplet为了让芯片做得更大、性能更强同时又要保证良率和成本厂商会把一个大芯片拆成多个“小芯片”一起封装。小芯片之间靠特定的Die-to-Die接口通信比如NVIDIA自家有NVLink-C2C整个行业也在推UCIe。这种封装内互连带宽极高、延迟极低可以把多个Chiplet虚拟成一颗大芯片。NVLink Fusion做的事情本质上是用光互连技术把“封装内互连”的体验延伸到整个超节点。NVIDIA自家的定位是在NVLink域内用直连的、高密度的光链路取代传统的铜线让原本只能在一个机柜内完成的互连可以延伸到跨机柜、跨区域的范围。精度更高的说法是它把光模块、驱动器和SerDes直接与计算芯片封装在一起也就是“共封装光学”从而减少信号在中距离传输时需要的重定时器也减少功耗。目前NVIDIA没有把NVLink Fusion的全部私有协议细节公开但从GTC 2025以及一些系统集成商的公开内容看NVLink Fusion会支持超节点内的直接光互连链路上可以跑NVLink协议扩展也可以配合以太网做更大范围的资源池化。它并不是要取代NVL72这种铜背板短距方案而是把同一个NVLink域做得更大、更灵活。2.2 为什么Chiplet封装是NVLink Fusion的基石如果只看表面NVLink Fusion和UALink都在解决“加速器之间的通信”但NVLink体系的一个隐藏优势是NVIDIA已经把Chiplet做得足够成熟。以Blackwell为例一颗GPU实际上由两颗Die组成两颗Die之间通过NVLink-C2C连接。这样的设计可以让NVIDIA用两片面积更小的Die拼出一颗大GPU良率更好、成本也更可控。更重要的是Chiplet让“互连”这个概念不再只发生在机箱内部而是渗透到了芯片封装内部。封装内Die-to-Die互连的带宽可以达到每秒数TB延迟在亚微秒级别功耗比板级互连低一个量级。有了这层Chiplet底子NVLink Fusion就可以把“超节点”里的每块GPU都看成巨无霸级Chiplet生态的一部分。当光模块直接集成到封装上时从外面看不同机柜里的GPU就像坐在同一个封装里一样可以共享内存、做细粒度同步。这类设计在传统网络工程师看来非常反直觉——网络延迟从微秒级降到纳秒级拥塞控制策略全都用不上了反而更像是在做芯片级验证。2.3 光互连的关键参数带宽密度、功耗与时延在评估NVLink Fusion的落地表现时有三个参数必须盯住。第一个是带宽密度。光模块不是无限小的高速光口占用的面板面积和功耗是实实在在的成本。共封装光学能显著提升单位面板的带宽密度因为它省掉了可插拔模块的笼子和连接器直接把光引擎放到基板旁边。这个提升在NVLink Fusion这类超节点方案里非常重要你想让100多块GPU都能享受高带宽直连又要在一个机柜里塞下全部算力光口的密度不够就根本放不下。第二个是功耗。400G和800G可插拔光模块的功耗通常在10到15瓦左右一个NVL72规模的超节点如果全部用可插拔光模块光模块本身的功耗和散热就能压垮整个制冷系统。NVLink Fusion走共封装光学路线单端口功耗会更低但代价是坏了不好修。有过光模块运维经验的人都知道可插拔模块坏了拔下来换一个就行共封装光学一旦出问题大概率要整板返修。第三个是时延。Scale-up互连追求的是确定性时延。光信号在PCB走线和光纤中传播的物理距离不同会带来“偏斜”问题。NVLink Fusion通过封装级时钟同步和物理层校准把链路间的偏斜控制在一个极低水平。这一项在单机柜里还好一旦跨机柜温度变化、光纤弯曲半径不一致都可能引入额外偏斜这也是超节点互连方案最考验硬件成熟度的地方。3. UALink技术拆解一场“去中心化”的加速器互连运动3.1 UALink联盟是怎么攒起来的先聊一段背景。过去几年AI算力市场里NVIDIA太强势了不仅是GPU卖得贵连服务器内部互连也是封闭体系。云厂商和系统集成商其实一直想找一个“第二选项”。UALink就是在这样背景下诞生的。UALink全称是Ultra Accelerator Link由AMD发起联合了博通、英特尔、微软、谷歌、Meta等一批重量级玩家。大家坐在一起做了一个开放标准目标非常明确定义一个高速、低延迟、内存语义的加速器互连协议让不同厂商的GPU、NPU、DPU可以在同一个超节点里互连。从组织架构上看UALink联盟有点像是当年CXL联盟的升级版。它并不要求大家公开硬件内部实现而是定义互连接口和协议栈。只要符合规范理论上AMD的卡和Intel的卡可以插在同一个Switch上协同工作。对于被NVIDIA软件生态绑定的用户来说这确实是一个非常有吸引力的画面。3.2 UALink 1.0的技术要点UALink 1.0是2024年发布的第一版规范根据公开资料它定义了几件关键事。第一物理层采用标准PCIe接口和连接器但SerDes速率比PCIe Gen5更高我记得是62.5Gbps左右第二它采用类似内存语义的load/store模型而不是网卡上一套完整的TCP/IP协议栈这样延迟能压得很低第三初始版本支持8个加速器组成一个内存一致的池化域而UALink 2.0以及后续版本会把这个规模进一步扩大我记得公开目标是要支持到几十个节点规模。在拓扑上UALink参考设计是一个加速器到交换机的拓扑也就是说每块加速器通过UALink接口连到UALink SwitchSwitch再负责维护多卡间的数据一致性。这和NVLink早期使用NVSwitch的思路很像。不同的是UALink从第一天起就是开放的而且采用了行业通用的PCIe形态这意味着服务器厂商不需要为私有互连重新设计整块主板降低了准入门槛。这里要特别提一下UALink和CXL的关系。两者都基于PCIe物理层也都做内存语义但UALink面向的是加速器扩展CXL面对的是CPU内存扩展。早期有团队试图用CXL来跑加速器互连结果发现CXL的缓存一致性和延迟特性对GPU这种高带宽同步场景不友好这才有了UALink这种更“重”的互连协议。3.3 开放标准的一把双刃剑开放标准最大的好处是多供应商可选、不被单一企业绑架。但放到互连领域也有一个不容忽视的问题协议只是纸面规范真正好不好用还得看硬件兼容性、驱动成熟度和上层框架的支持。我见过不少项目在标准化选择上吃了亏团队花了一两年精力去适配一套开放协议结果发现配套的开源驱动不完善性能测试时带宽只有标称值的六成最后不得不回到私有方案。UALink目前也面临类似挑战。联盟成员涵盖了芯片、云厂商、系统集成商但大家各自的加速器产品路线图并不同步。AMD的推理卡走UALink的速度比较快其他成员的芯片本身还在迭代中UALink能不能成为“事实标准”还要看接下来两年谁真能出货。4. NVLink Fusion 与 UALink 的硬碰硬对比4.1 出发点生态霸权 vs 标准中立从技术实现剥开看NVLink Fusion和UALink最核心的差异其实不是速率、不是拓扑而是“由谁来决定协议栈”。NVLink体系是NVIDIA从头到尾定义并实现的从GPU核内的互连总线到NVSwitch转发芯片再到上层CUDA和NCCL库整条链路都在同一家公司控制下。这带来的好处是性能极致坏处是你要么全盘接受要么完全无法介入。UALink则强调中立。联盟成员来自不同阵营规范由成员共同制定理论上可以避免单一厂商垄断。但你也需要意识到参与UALink的厂商彼此之间也存在竞争关系。最典型的就是AMD和Intel都既是CPU厂商又是加速器厂商他们很难把底层互连完全开放给对方核心产品去使用。所以“开放”更多是相对NVIDIA闭环而言的不代表完全没有技术保密。4.2 物理层与拓扑光互连对铜互连NVLink Fusion的主要卖点在“光”。通过把光引擎封装到芯片附近NVIDIA可以在更远的距离上维持高带宽。有人会觉得光互连一定比铜互连好这不完全对。铜线在超短距离内能耗和成本都优于光但在超节点这种跨机柜、跨区域的场景里铜线衰减太大必须靠更强的均衡和更多重定时器来补偿复杂度反而上去了。UALink 1.0的物理层走的是PCIe形态本质还是板级铜互连为主所以它的典型部署范围是机柜内部或者几个机柜之间和NVLink Fusion这种“把网络半径拉长到光互连级别”的玩法不太一样。对于绝大多数用户两者并不在一个完全对立的维度上很可能未来大家会同时使用机柜内短距走铜跨机柜走光。4.3 时延、带宽和同步对训练任务的实际影响做分布式训练的人都知道大模型混合并行策略里通信开销占比极高。以MoE模型为例专家并行时token需要被分发到不同设备每次迭代都有大量小报文在加速器之间穿梭。这种场景下时延比理论带宽更重要。NVLink域在时延上有一个优势它由NVIDIA自己定义同步机制配合CUDA内核调度端到端时延可以做到亚微秒级而且非常稳定。UALink虽然也以低时延为目标但毕竟是开放标准需要在不同厂商的芯片之间做协议协商实际时延恐怕会比私有方案略高一些。更重要的是上层框架例如NCCL目前对NVLink的适配已经做到了“最优路径自动选择”而UALink对应的生态工具还没有那么成熟你需要自己调优的地方会更多。我这么说并不是要否定UALink而是想提醒你评估互连方案时不要只看标称带宽还要看软件栈谁能帮你在实际任务里把理论值跑出来。4.4 实用速查表同规模下你该怎么选为了让你在实际选型时能快速对照我整理了一张对比表基于目前公开资料和常规实践经验维度NVLink FusionUALink 1.0主导方NVIDIA私有体系开放联盟AMD、Intel、博通、微软、谷歌等物理层共封装光互连为主短距铜线辅助PCIe形态、板级铜互连为主拓扑规模面向NVL72/NVL576这类大型超节点初期支持8卡内存池后续扩展延迟亚微秒级确定性高低但跨厂商适配尚无充分验证软件生态CUDA、NCCL深度整合开箱即用需要自研或社区配套成熟度待观察适合场景追求极致性能能接受单一厂商绑定希望多供应商可选愿意花时间集成这个表里的关键信息是我在实际项目中的判断依据。如果你做的是单一型号GPU的集群超节点规模又很大NVLink Fusion的互连体验短期内没有对手如果你所在团队对“自主可控”和“多供应商”有硬性要求那么UALink是一条值得押注的路线但你需要做好前期投入时间和资源的准备。5. 落地时最容易被忽视的几个坑5.1 光模块和散热Scale-up互连的隐形杀手我先讲一个真实经历。之前帮一个客户搭8卡GPU服务器验证超节点方案刚开始压测时一切正常但跑到第二周训练任务开始偶发断连。排查到最后问题出在光模块的工作温度上。机房空调出风口正好被一个机柜门挡住光模块核心温度比规格书高了10度误码率飙升。这个案例在可插拔光模块时代都很容易被忽略到了NVLink Fusion这种共封装光引擎方案里散热问题会更严重因为光引擎和计算芯片封装在一起发热源非常集中。所以如果你想上NVLink Fusion这类超节点方案我建议提前做一次机房热环境模拟别只看服务器标称功耗。机柜内的前后风道、空调盲板是不是漏风甚至高架地板下有没有杂物堵了出风口都会直接影响互连链路的稳定性。很多团队把精力花在配置和网络调优上最后翻车却翻在散热上实在不值得。5.2 软件栈比互连标准更难迁移聊完硬件再聊软件。过去几年GPU集群的软件栈已经完全围绕NVIDIA生态建立起来了容器镜像里有CUDA驱动训练框架里默认调用NCCL存储节点甚至直接对接GPUDirect RDMA。如果你要迁移到一套采用UALink互连的非NVIDIA集群一个很现实的问题是你的分布式训练框架需要改通信后端。这不是简单地把环境变量从NCCL改成别的库那么轻松。NCCL为NVLink做了很多底层优化比如拓扑感知、SHARP网内规约、通路自适应而UALink对应的库目前还需要大量手工配置和调优。我见过一个团队在规模较小的PoC环境里验证UALink单机8卡跑通了大模型微调但一套真正的千卡集群就需要额外编写一套通信调度逻辑成本超出预期。建议在决策前先用一个小集群跑一跑真实训练任务而不是只看厂商给的benchmark。5.3 兼容性检查清单评估任何Scale-up方案前先看这五个问题我每次评估新互连方案时都会先问五个问题。第一这个方案在我现有的服务器机箱里能不能部署供电和散热够不够。第二我的训练框架和通信库是否已经适配没适配的话要投入多少人月。第三运维团队有没有能力处理光链路故障备件策略是什么。第四这个互连在满负载持续运行时的稳定性有没有公开验证数据。第五如果未来要扩容这个方案能不能平滑升级还是说必须全盘更换。这五个问题看着很简单但能帮你迅速过滤掉一堆花哨概念。NVLink Fusion也好UALink也好如果连其中任何一个问题都答不上来那就意味着方案还没有达到“可以上生产”的状态。6. 最后再分享两点实际工程心得做了这么久基础设施我的体感是超节点互连的竞争短期看NVIDIA还是占优因为NVLink Fusion背后的Chiplet、共封装光学和CUDA生态是一套完整的体系别人想追得同时在硬件、协议、软件三个层面发力。UALink最大的机会不在技术指标上而在于它给了行业一个“非单一供应商”的退出通道。只要云厂商们对NVIDIA的议价权不满一天UALink就会持续获得资源和关注.如果你想在这个赛道里做技术判断我给你的建议是不要只看PPT上的带宽数字一定要去实际机房跑一次多卡通信压测把时延抖动、功耗、误码率记录下来再结合自己的训练任务类型做决策。互连方案从来没有绝对的“更好”只有“更适合你当前项目”。最后再分享一个小技巧无论选择哪条路线在做超节点互连规划时最好在预算里预留一块冗余带宽。大规模训练任务最怕的是链路带宽被占满后出现拥塞多留10%到20%的互连余量往往能在关键时刻保住整个训练集群的稳定性。这是实践经验和标准参数无关。