从超融合到解耦：智算时代私有云架构如何重构

最近一年我几乎每隔两周就要去一趟客户机房看到的场景跟三年前完全不一样了超融合一体机的机柜旁边悄无声息地多了一排8卡GPU服务器背后还拖着液冷管路。三年前大家还在为“要不要上超融合”争得面红耳赤现在谈话的焦点已经变成“GPU资源怎么池化、存储怎么独立扩展、网络怎么不背锅”。这个转变本质上就是私有云从超融合走向解耦的过程。我在很多场合说过一个判断超融合是私有云上一个时代的正确答案但它不一定是智算时代的正确答案。智算带来的负载模型、性能模型、运维模型跟传统虚拟化完全是两套逻辑。今天这篇东西就是想把这个转变讲透——超融合当年解决了什么、智算时代为什么“不灵”了、解耦到底解什么、以及最关键的怎么落地。1. 超融合的“黄金十年”与智算时代的拐点1.1 超融合当年解决了什么问题先把时间拨回去。2015年前后私有云的主流玩法还是“计算节点集中式存储SAN/FC”那套架构最大的毛病是贵、慢、难扩容。一台双控SAN存储动辄几十万起步扩容要加硬盘框、要停业务、还要看厂商脸色。虚拟化集群越来越大IOPS和容量需求水涨船高SAN就成了那个掐脖子的瓶颈。超融合的本质是把计算、存储、网络三大件全部塞进x86服务器用软件定义的方式在集群层面重新组织资源。每个节点既是计算资源也是一块分布式存储的盘位大家通过万兆/二十五万兆网络连成一个可以横向扩展的资源池。对中小企业来说这几乎是降维打击不用买昂贵的SAN不用单独架存储网络三台服务器起步就能搭一套私有云扩容就是“再加一台节点”这么简单。我当年帮客户落地过不少超融合项目印象最深的是一个制造业客户原来机房里面两台SAN存储每次扩容都要厂商上门停机窗口动辄一个周末。换成超融合之后扩容就是夜间往机柜里推一台新服务器平台自动把数据平衡过去第二天早上业务照跑。这种体验上的碾压是超融合能横扫市场的根本原因。1.2 智算负载改变了游戏规则问题出在GPU大规模入场之后。AI训练集群对基础设施的要求跟超融合的设计逻辑出现了系统性冲突。超融合讲究“计算存储紧密耦合”每个节点既跑业务又管数据这没问题——但GPU服务器来了之后你会发现GPU节点的本地盘根本装不下训练数据集。一个百亿参数模型的训练集动辄几十TB甚至上PB而GPU服务器为了塞更多卡硬盘位往往被压缩到极致很多8卡机型只给你4块或者8块U.2盘位容量撑死几十TB远远不够。更大的矛盾在故障模型上。超融合有一套成熟的数据重建机制某个节点宕了它承载的虚拟机在其他节点拉起本地盘数据通过多副本从其他副本恢复。这个过程在CPU虚拟化时代没问题因为虚拟机重建只要几十秒数据恢复在后台慢慢跑就行。但GPU训练任务不一样一个训练任务往往是多机多卡并行跑的任何一台机器故障整个任务都要中断重来。如果这时候还要等分布式存储慢慢恢复数据副本训练中断的时间会被拉长到不可接受。也就是说智算负载需要的是“无状态计算有状态存储分离”——GPU计算节点最好是可以随时替换的无状态资源数据则统一放在独立的大容量高带宽存储池里。这跟超融合“计算存储绑定”的基本盘正好相反。行业里管这个转向叫“解耦”翻译成人话就是把原本捆在一起的三层——算力、存储、网络——各自独立出来让每一层都能单独扩展、单独维护、单独演进。2. 智算时代基础设施的4大痛点从“看不见”到“绕不开”跟很多客户聊下来智算时代的基础设施痛点其实高度集中我归纳下来就四个算力池化、存储性能墙、网络拥塞、功率密度。这四个问题在传统超融合架构下不是“优化一下就能解决”的程度而是设计基因层面就绕不开。2.1 痛点一GPU资源池化难算力孤岛丛生超融合的调度单元是“虚拟机CPU内存”GPU在大多数超融合平台里只是配角。早期的做法是GPU直通PCIe Passthrough一张卡绑给一台虚拟机简单粗暴但没法切分。后来有了vGPU一张卡可以切成几份但切分粒度、显存隔离、故障恢复都很粗糙。到了大模型时代GPU不仅是数量问题更是“池化”问题多卡并行调度困难训练任务经常要申请8卡、16卡甚至64卡而且要求这些卡在物理上尽量靠近同一台机器或同一个TOR交换机下否则通信延迟受不了。超融合原本的调度器是为虚拟机设计的不理解“GPU亲和性”“拓扑感知”这些概念。资源碎片化严重不同业务申请的GPU规格不一样有的要整卡有的要半卡有的要MIG切片。超融合平台的资源管理模型对异构GPU支持差容易出现“大卡等不到、小卡没人用”的局面。算力孤岛几台GPU服务器如果不做统一池化就各自成为一个计算孤岛业务只能绑死在某一组机器上无法形成全局调度。打个不太恰当的比方超融合时代管理GPU像小区物业管理车位——每个车位GPU跟着房子节点走房子换人就换卡而智算时代需要的是打车平台——所有车辆统一调度你下单提交训练任务时平台帮你匹配距离最近的空闲车。2.2 痛点二存储性能墙与数据归集困境AI训练对存储的冲击是很多超融合老用户完全没有心理准备的。它有两个典型的“存储杀手”场景数据准备阶段。训练开始前要把分散在各处的原始数据——可能是对象存储里的图片、文件服务器里的日志、数据库里导出的样本——统一归集到训练集群能高速访问的位置。这个过程要求存储提供几十GB/s甚至上百GB/s的聚合带宽。超融合的本地盘方案单节点带宽受限于PCIe通道和盘位数量就算上了NVMe单机也就2-4GB/s一个数据集要灌很久。CheckPoint写入。训练过程中每隔一段时间就要把模型参数写一次盘防止训练崩了白跑。这个动作是典型的“大文件高吞吐顺序写”而且多个训练任务同时写的时候对存储的并发带宽要求呈线性增长。我见过不少客户训练任务本身GPU效率很高结果每次保存CheckPoint都要卡好几分钟GPU在那干等存储写完整体训练效率被拉低一大截。更要命的是超融合的存储容量和计算节点是绑定的。你要扩容存储就得加计算节点哪怕CPU完全用不上。反过来你想加GPU算力存储能力又被动“赠送”了一批。这种“容量跟算力强绑定”的模型在传统虚拟化时代还算凑合到了AI时代就是双输——要么多买了一堆用不上的计算资源要么存储还是不够用。2.3 痛点三东西向网络拥塞与智能运维缺口传统虚拟化时代的流量模型以南北向为主——用户访问虚拟机流量从接入交换机进经虚拟化平台转发出外网。东西向流量虽然有但量级不大。超融合平台里节点间的数据同步、虚拟机迁移也就跑在万兆网上压力可控。AI训练彻底改变了流量模型。分布式训练框架比如Megatron、DeepSpeed在训练过程中GPU之间要频繁同步梯度通信量达到几十GB/s甚至上百GB/s。这是典型的东西向“大象流”而且是发散的、不可预测的。传统超融合网络在这种流量冲击下会出现严重的TCP Incast多对一拥塞问题表现为网络时延剧烈抖动、训练步长时快时慢、整体吞吐上不去。现在行业里解决这个问题的主流方案是RoCERDMA over Converged Ethernet无损网络。RoCE要求网络交换机和网卡配合开启PFC优先级流控和ECN显式拥塞通知机制整个网络要做到“端到端无损”。这已经远远超出了超融合平台自带虚拟网络的管控范围需要独立的网络控制系统来做拓扑管理、拥塞调优、故障定位。更现实的是运维问题。智算网络链路复杂一台GPU服务器至少有管理网口、业务网口、存储网口、RDMA网口多张网卡多类流量混在一起出问题时定位异常链路极其痛苦。前阵子行业里办智算网络运维竞赛核心考的就是怎么在复杂的无损网络里快速定位链路故障。传统超融合那种登录Web控制台看告警的运维方式在智算场景里完全不够用。2.4 痛点四功率密度与液冷转型压力这个痛点最容易被忽略但卡脖子程度不亚于前三项。传统超融合一体机按通用计算设计单机柜功率密度通常在5kW-10kW之间风冷完全够用。GPU服务器一来单机柜功率密度直接飙到30kW甚至100kW以上风冷根本压不住。原因很简单一张A100/H100的功耗是400W-700W一台8卡GPU服务器满载功耗超过6kW一个机柜放两排8卡服务器功率就是20kW往上了。普通数据中心的精密空调单机柜制冷能力大多在10kW左右直接上GPU服务器就是“空调吹不凉、设备狂降频”的结局。所以现在智算中心都在谈液冷“液冷可研”报告我今年至少看了十几份。液冷分为冷板式和浸没式冷板式相对成熟单机柜能支持到30kW-50kW浸没式更猛但成本高、运维复杂。这个转变也倒逼基础设施架构解耦——因为液冷系统跟计算/存储设备是独立建成的如果你还在用超融合“一体机”的思路去规划机房你会发现散热、供电、机柜空间根本没法按需匹配。提示功率密度问题不是软件能解决的它是物理约束。做智算规划时先算清楚机柜功率、制冷方式、UPS容量这三件事再谈算力规模。3. “解耦”到底解什么一线视角下的架构重构3.1 解耦不是推翻超融合而是分层重排很多人一听到“解耦”就以为是要拆掉超融合、回到传统架构。不是的。解耦是把超融合这个“分布式单体”拆成几个独立的模块让每个模块可以单独演进、单独扩展、单独运维。道理跟代码解耦一模一样——一个单体应用拆成微服务之后各个模块可以独立发布、独立扩缩容不用每次改一行代码就重新部署整个系统。上面提到的模组解耦参考了“模块解耦是什么意思”这个思路。在基础设施层面解耦对应三件事算力与存储解耦GPU/CPU计算节点不再承担数据持久化的工作数据统一放进独立的分布式存储集群。控制面与数据面解耦网络控制逻辑路由、策略、调度从虚拟化内核里抽出来集中到SDN控制器数据转发下沉到DPU/智能网卡和硬件交换机。硬件与软件解耦不再绑定“一家厂商的一体机”计算、存储、网络可以分别选择最适合的硬件和软件避免被单一供应商锁定。3.2 计算与存储解耦本地盘到共享存储池存算分离是解耦最先落地的一步。做法很直接把原来的分布式存储从超融合节点里拆出来做成一个独立的存储集群通过高速网络RoCE/IB挂给GPU计算节点。存算分离后的存储集群常见选型有这么几类存储方案典型代表适合场景关键指标通用分布式存储Ceph、GlusterFS中大规模数据、性价比优先带宽、容量并行文件系统Lustre、GPFS、WeStorAI训练高并发读写元数据性能、聚合带宽全闪分布式存储vSAN、PowerFlex等低延迟关键业务单卷IOPS集中式SAN/NVMe-oF企业级中端/高端存储数据库核心应用时延、可用性我的建议是如果跑的是大模型训练优先考虑并行文件系统因为它对“海量小文件大文件高并发”混合负载支持最好。如果只是中等的AI推理开发测试通用分布式存储就够了成本更低。GPU计算节点在存算分离架构下变成了“无状态”资源。节点坏了换一台新机器加进来就行数据全在存储池里不用重建任何数据副本。这跟超融合的“数据重建”故障恢复模型是本质区别也正是智算场景最需要的特性。3.3 网络与控制面解耦软件定义的力量网络解耦是容易被低估的一步。传统超融合的网络功能在虚拟化内核里以vSwitch的形式存在控制面和数据面都在宿主机上。这在小规模场景够用但一旦要求“端到端无损以太网”它就无能为力了。解耦后的网络架构核心是两层控制面集中用SDN控制器统一管理所有网络策略。你只需要在控制器里定义一次租户网络、QoS策略、拥塞控制参数控制器自动下发到所有交换机、网卡、虚拟交换机。排障时不再需要逐一登录网络设备看配置一张全局拓扑图就能看清流量路径。数据面硬件化RoCE/RDMA的关键机制PFC、ECN、流控必须在支持这些特性的硬件交换机、网卡上启用。部分智算场景还会引入DPU/智能网卡把网络转发、存储协议处理从CPU里卸载出来让CPU专心跑训练任务。网络解耦后整体表现是带宽可预测、时延低抖动、故障可追踪。我记得有一次帮客户排查训练性能下降问题传统架构下要登录几十台服务器看网络统计解耦之后在SDN控制器里拉一张流表统计图半小时就定位到是一对网线的光模块衰减导致重传率飙升。这种排障效率是传统超融合网络给不了的。4. 落地路径从超融合到解耦架构的迁移实操4.1 先盘活现状哪些场景继续留在超融合解耦不是“一刀切”的推到重来而是“双轨并行”的渐进演变。我见过最理性的做法是把现有超融合集群保留给传统业务同时新建一个独立的智算资源池。适合继续留在超融合的场景传统企业应用OA、ERP、CRM、邮件系统负载稳定、流量模型简单超融合完全够用。数据库类业务中低并发的MySQL、PostgreSQL存储需求不大强调稳定超融合独立数据库高可用方案即可。开发测试环境需要快速创建/销毁虚拟机超融合的自服务能力很合适。适合迁到解耦架构的场景AI模型训练大规模GPU并行计算、海量数据读写、强化学习等高频CheckPoint任务。高性能数据分析数据仓库、机器学习特征工程需要存储和计算独立扩容。大规模容器集群K8s跑微服务节点频繁增删需要无状态计算节点共享存储。4.2 新建智算池的标准动作如果你决定新建一套解耦架构的智算池我建议按下面这个顺序走第一步业务画像与性能预算。搞清楚要跑哪些模型、数据集规模多大、训练并发数多少、期望的训练吞吐量是多少。然后反推存储带宽需求比如目标100GB/s聚合带宽、网络规模几台GPU服务器、几个训练任务同时跑、存储容量训练集CheckPoint备份。第二步存储选型与部署。根据第一步的结论选存储方案。部署时注意存储集群和计算集群之间最好用RoCE网络连接中间不要隔着三层路由保证低时延。存储节点建议配置高带宽网卡100GbE起步NVMe全闪是标配。第三步网络规划。这一步的关键是“无损网络”配置。以最常见的RoCE v2方案为例# 交换机侧以某个厂商为例 # 开启全局PFC qos flow-control enable all # 设置优先级队列3号优先级走无损通道 priority-flow-control enable 3 # 开启ECN ecn-profile name ai-roce ecn green g-ecn-profile min-threshold 36 max-threshold 64 drop-probability 20再验证一下网络用ping -M do -s 8000测试大包丢包或者用ib_write_bw这类工具跑一下RDMA带宽。第四步容器与调度层面。智算底座普遍基于KubernetesKubeFlow/Volcano搭建。GPU调度建议用设备插件AIMD策略让训练任务能以“整卡/部分卡”的粒度申请GPU。注意配置拓扑感知调度优先把同一训练任务的GPU分配到同一台机器或同一个TOR交换机下。第五步运维体系。独立建设智算可观测能力GPU利用率、显存占用、网络重传率、存储时延、训练步长Step Time这些指标全部要采集并设置告警。我在实际项目里最常用的核心指标表指标告警阈值建议说明GPU利用率低于50%持续5分钟可能调度不均或数据瓶颈存储写时延超过20ms持续1分钟CheckPoint可能卡顿网络重传率超过0.01%RoCE链路质量恶化信号训练Step Time较基线波动超50%训练效率异常4.3 迁移节奏与双轨并行策略迁移上我的建议是“存储先行、网络跟进、算力最后”。先把数据从超融合本地盘迁到独立的存储池用双写或定时同步的方式保证数据一致再把网络升级到支持RoCE的无损网络最后把GPU算力集群并入调度平台。整个过程不需要跨天停机可以分阶段灰度。如果你的超融合平台本身就支持“独立存储扩容”能力迁移会更平滑。举个例子有些成熟超融合品牌客户会直接挂载独立的分布式存储卷把GPU节点作为“无状态计算节点”纳管用超融合的界面管理GPU用独立存储池承载数据。这种方式等于“半解耦”——管理面保持原样数据面已经解耦对运维团队最友好。5. 避坑清单与选型心得5.1 我踩过的三个坑解耦这件事纸上谈兵很容易实际落地全是细节。我这几年踩过的坑不少挑三个最典型的说第一个坑存储性能测试只测带宽不测延迟。有一年我们给客户部署并行文件系统用fio测聚合带宽跑到了80GB/s客户很满意。结果训练一跑就出问题——每次保存CheckPoint都要等很久。后来才发现CheckPoint是“一小撮小文件”加“一个超大文件”的混合模型fio纯顺序大文件测试根本测不出小文件元数据性能的短板。后来我们用混合IO模型重新测fio --namecheckpoint-sim \ --rwwrite \ --bs1M \ --size100G \ --numjobs64 \ --ioenginelibaio \ --direct1 \ --group_reporting \ --directory/mnt/ai-store再配合小文件随机读测试才把真实性能摸清楚。第二个坑RoCE网络没开PFC。很多网络工程师对无损网络不熟悉把RoCE跑在普通以太网配置上结果训练任务跑一会就超时中断。排查下来是尾部丢包导致RoCE端到端重传吞吐直接腰斩。后来重新在交换机上做了流控配置问题立刻消失。这一条我现在每次做智算项目都会检查一遍。第三个坑GPU节点仍沿用超融合的故障替换逻辑。超融合节点挂了平台会自动把它承载的虚拟机在其他节点拉起这对CPU业务没问题。但在GPU集群里一个训练任务跨多个GPU节点其中一个节点宕机平台如果自动把这台节点上的任务在其他机器拉起会导致整个训练任务状态错乱。正确做法是配置“集群级故障切换”即整个训练任务一起中断、一起重调度而不是单节点恢复。这个细节很多超融合的默认配置不会帮你处理好。5.2 选型时的关键指标对照解耦架构跟超融合的选型逻辑完全不同。超融合看节点数解耦要看各层独立的关键指标对比维度传统超融合解耦架构算力扩展加节点存储同步增加独立加GPU服务器无存储绑定存储扩展加节点才有容量独立加存储节点容量按需网络万兆/二十五万兆混合RoCE无损网络带宽可预测故障恢复节点级数据重建无状态计算节点直接替换适用负载传统虚拟化、数据库AI训练、大数据分析运维复杂度低一套控制台较高需要分层的运维工具选型时核心不是看参数多好看而是看它能不能独立演进。存储能不能在不加计算节点的情况下扩容网络控制面是不是开放的计算节点是不是无状态的这三个问题能回答“是”说明这套平台是真解耦而不是换了个名字继续卖一体机。5.3 给不同规模团队的建议最后分三类团队给点实操建议小型团队10-50台服务器不要一上来就自研存储或自建SDN。用商业成熟的分布式存储或者干脆用公有云的智算服务K8s用托管版GPU调度用开源Kueue或者Volcano。解耦的第一步先做到“存储独立”就够用了。中大型团队100-500台服务器可以考虑存储层和计算层独立选型网络引入RoCESDN控制器可以选商业产品。这个阶段要开始建立SRE团队专门负责智算底座的可观测性和容量管理。大规模智算中心软硬全解耦DPU卸载、全闪并行文件系统、无损网络全覆盖。这个阶段的核心是“自动化运维”告警自愈、故障自动隔离都是刚需。液冷方案此时也要同步纳入考虑。最后说个我自己的体会。“解耦”这个词听着高大上本质上就一句话让每一层都能独立地变。以前超融合把所有东西绑在一个节点里图的是省心现在智算时代业务要求每一层都具备独立的扩展、独立的故障域、独立的运维工具所以必须解开。但它不是非黑即白——你完全可以保留超融合跑传统应用新建一套解耦的智算底座两条腿走路这才是大多数企业应该走的路。这一轮架构调整会持续三到五年早一点想清楚后面就能少一点被动。