共封装光学CPO：突破AI数据中心电互连瓶颈的关键技术

1. 算力狂奔下电互连的“物理极限”在哪里1.1 AI集群的真实瓶颈不是GPU不够快而是数据运不出去做AI基础设施的人这两年都有一个非常直接的感受GPU的算力在翻着倍涨但系统里的数据传输链路越来越像一根被拼命拉长的皮筋。2023年前后一张训练卡上的HBM带宽动辄几个TB/s交换芯片的交换容量从25.6T爬到51.2T甚至更高但芯片和芯片之间的互连带宽却还卡在几百G到1.6T这个量级上。差距不是两倍三倍而是几十倍。这个差距带来了一个非常反直觉的现象在大规模AI训练集群里真正限制整机训练效率的往往不是单卡算力而是“数据能不能及时送到对的地方”。以多卡并行训练为例每次梯度同步都要把几十上百GB的中间数据在节点之间倒腾一遍。如果互连带宽不够GPU就算算得再快也只能干等着数据从网线、光缆、PCB走线里慢慢爬过来。业内管这个叫“通信墙”或者“I/O墙”它和算力墙、功耗墙并称AI基础设施的三大拦路虎。在这个背景下光互连成了绕不开的答案。高速率、长距离、低损耗光纤在传输能力上对铜缆几乎是碾压性的优势。问题在于光模块怎么和芯片配合才能把这个优势真正发挥出来。传统方案是“可插拔光模块”把光模块插在交换机面板上通过PCB走线和交换芯片通信。这个方案成熟、灵活、坏了能换过去十几年一直很稳。但在速率推到800G、1.6T之后它开始撑不住了。1.2 功耗墙的物理本质电信号走SerDes就是烧钱要说清楚CPO为什么会出现先得理解一个概念SerDes。SerDes的中文叫串行器/解串器作用是把芯片里的并行数据转成高速串行信号送到PCB走线上另一端的SerDes再接回来。模块之间高速互连的底层就是一对对SerDes在跑。问题就出在SerDes身上。电信号在线路上传输会有损耗。频率越高、距离越长损耗越严重信号质量也越差。为了对抗这种损耗SerDes的发射端要加大驱动电流接收端要做各种均衡算法这让SerDes本身的功耗非常大。以56Gbps的SerDes为例单lane功耗大约在2到4pJ/bit到了112Gbps功耗会涨到4到7pJ/bit。什么概念一个51.2Tbps的交换芯片如果全部跑满光SerDes部分就要吃掉大约150到200瓦的功耗。如果再加上可插拔光模块自身的光电转换、DSP、温控功耗整台交换机的光互连总功耗能到四五百瓦。在数据中心里功耗直接换算成电费和散热成本。而且PCB走线到面板的距离越长信号衰减越大SerDes就不得不加大力度去补偿损耗功耗进一步飙升。这就形成了一个死循环速率升级、距离变长、SerDes功耗上涨、散热压力变大。做系统设计的人最怕的就是这种“为了补一个坑要挖另一个坑”的连锁反应。1.3 为什么可插拔方案触到了天花板可插拔光模块的另一个硬伤是面板空间和走线密度。交换芯片就那么大的面积引脚数量有限能拉的SerDes lane数量也是有限的。要提升带宽每个lane的速率就得往上提。从56G到112G再到224G每一代升级SerDes的功耗和信号完整性压力都成倍增加。同时光模块插在面板上信号要从芯片引脚出发走一段不短的PCB走线到达连接器再进入光模块。这段走线在112Gbps甚至224Gbps速率下对PCB材料的损耗、过孔的残桩、连接器的阻抗连续性都有极高的要求。为了让信号“活”着走到面板设计师不得不引入重定时器retimer做信号中继这又是一层功耗和成本。业内经常开玩笑说到了224G这个代际PCB已经不是在走线了是在走“玄学”——每一个过孔、每一毫米走线长度都会直接影响系统是否能稳定跑起来。如果把光模块从面板挪到芯片封装里把芯片到光引擎之间的高速电互连距离从20到40厘米缩短到几毫米SerDes的功耗可以大幅度降下来信号完整性也不那么难做了。这就是CPOCo-Packaged Optics——共封装光学技术——最朴素的出发点。它不是一个突然冒出来的黑科技而是当电互连的物理极限被逼到墙角之后行业在架构层面的一次必然转向。2. 共封装不是“把光模块放近一点”三条核心技术路径拆解2.1 距离缩短的背后信号完整性和功耗的连锁收益很多人把共封装光学简单地理解为“把光模块挪到交换芯片附近”听起来像是个位置调整其实完全不是。位置的变化只是表象真正变化的是整个互连架构的物理层设计逻辑。传统可插拔方案里交换芯片和光模块之间隔着封装基板上的走线→PCB板上几十厘米的高速走线→面板连接器→光模块内部的金手指和驱动电路。这条链路里每一段都有阻抗不连续点每一段都在消耗信号质量。到了224Gbps这个代际业界已经公认FR4级别的板材很难支撑超过5厘米的走线必须换超低损耗板材、加retimer、做各种无源均衡。这些措施的代价就是成本和功耗双涨。CPO把光引擎放到交换芯片的同一个封装基板上之后芯片到光引擎的高速电互连路径缩短到5到10毫米级别。信号在这么短的距离里传输几乎不用做什么复杂的均衡补偿SerDes的设计压力骤减甚至可以减少SerDes的均衡级数。链路简化带来的直接收益是功耗降低、误码率降低、PCB板材要求降低、系统设计难度下降。我见过不少同行把CPO称作“系统设计的一次还债”因为过去十几年为了抵消长距离电互连带来的问题整个行业堆积了太多复杂的补偿机制现在终于可以从物理层把这个问题根除掉。2.2 硅光引擎的两种路线集成激光器与外置激光器CPO的“光”要靠光引擎来实现。光引擎的核心技术路线目前基本收敛到硅光Silicon Photonics方向上但内部还有一个重要分歧激光器是集成在硅光芯片上还是外置。激光器集成方案Integrated Laser是把激光器芯片和硅光调制器、探测器做在同一个封装里实现“片上光源”。优点是一体化程度高、光路短、可靠性容易控制。问题是激光器本身对温度非常敏感工作波长会随温度漂移而CPO封装里交换芯片在跑满负载时结温往往相当高激光器在高温环境下的寿命和稳定性会打折扣。外置激光器方案External Laser SourceELS则把激光器从光引擎里拿出来做成独立的光源模块通过光纤或光波导把光“送”进硅光引擎里。硅光芯片上只做调制器、探测器这类无源光器件和部分有源电路。这样做的最大好处是激光器和交换芯片的热环境解耦激光器可以放在温度可控的位置寿命和稳定性好很多光引擎本身不承载光源热设计负担小。代价是多了光源模块和光纤耦合的环节系统复杂度增加插损控制也更难。从我接触过的产品规划来看如今第一代量产级CPO方案里外置激光器路线明显更受青睐。原因很实际CPO的初期主要矛盾是保证可靠性和良率把最娇气的激光器从高密度的封装环境里摘出来是降低风险最直接的手段。等工艺成熟了再往片上集成走会顺理成章。2.3 2.5D封装和3D封装如何把光引擎“压”到交换芯片旁边CPO的“共封装”三个字依赖的是先进封装技术。具体来说目前主流路线是2.5D封装——交换芯片和光引擎并排放在一个硅中介层Silicon Interposer或者有机中介层上芯片之间通过中介层里的微米级走线互连。之所以叫2.5D是因为芯片本身是并排放置没有堆叠但芯片之间通过中介层实现了高于普通PCB的互连密度。换到系统层面这颗芯片加中介层再加多个光引擎共同组成一个大尺寸封装体。一颗51.2Tbps的交换芯片配上十几个甚至二十几个光引擎整个封装体的面积会变得相当可观。业界测算过CPO封装体的尺寸很可能达到70×70毫米甚至更大这对封装基板的翘曲控制、热膨胀系数匹配、对准精度都提出了远超传统芯片封装的要求。3D封装是更进阶的路线把光引擎直接堆叠在交换芯片上方用硅通孔或者混合键合实现垂直互连。好处是互连距离进一步缩短、密度更高、封装面积更小。但散热和工艺难度呈指数级上升目前还处在研究和预研阶段。行业共识是2.5D方案是接下来两三年内的主力3D方案是更远期的方向。做系统集成的人现在关注2.5D路线的成熟度就够用了。3. 可插拔、LPO、NPO、CPO的“接力赛”演进路线与选择逻辑3.1 四种互连方案的横向对比我把这几种方案放在一张表里做对比方便大家直观理解差异。方案光模块位置电互连距离DSP/驱动典型功耗(每端口)可维护性成熟度可插拔光模块交换机面板20-40cm PCB走线完整DSP较高可插拔更换非常成熟LPO线性直驱交换机面板20-40cm PCB走线去掉DSP线性驱动较可插拔低30%-40%可插拔更换较成熟NPO近封装光学面板附近/交换机边缘5-10cm 短走线简化DSP或线性驱动更低于LPO半可维护研发/初期CPO共封装光学交换芯片同封装基板5-10mm 封装内走线无DSP或极简均衡最低基本不可现场更换初期量产这张表里最值得关注的是“可维护性”那一列。可插拔方案的光模块坏了运维人员去机房里把模块拔下来换一个新的就行几分钟搞定。CPO的光引擎一旦出问题理论上整颗交换芯片连带封装体都要返厂维修。这在大型数据中心里是运维层面的重大变化也是很多客户对CPO顾虑最大的地方。3.2 LPO是“过渡方案”NPO是CPO的“试金石”先从LPO说起。LPO的英文是Linear-drive Pluggable Optics中文叫线性直驱光模块。它的核心思路是去掉可插拔光模块里的DSP芯片让交换芯片的SerDes信号直接驱动光模块里的调制器接收端也直接由光模块里的TIA跨阻放大器驱动SerDes接收器。DSP原本负责信号整形、均衡、时钟恢复去掉之后能省下一大笔功耗和成本代价是系统互连的误码率和信号完整性要求全部压在SerDes和光模块的线性度上设计难度大幅增加链路预算也紧张不少。LPO的目标是把800G互连的功耗降下来让传统可插拔架构继续多撑一代。它的意义在于验证了一件事去掉DSP之后系统依然可以工作。这为后续CPO打下了很好的基础因为CPO的高速电信号也一样是没有DSP的“裸信号”SerDes和光引擎之间的信号完整性设计逻辑高度相似。可以说做过LPO系统设计的团队再做CPO会顺利很多。NPONear-Packaged Optics近封装光学则是在物理位置上往前迈了一步把光模块从面板挪到交换机主板上紧贴着交换芯片的位置。电互连距离从几十厘米缩短到几厘米但光模块仍然是一个独立封装件没有和芯片做在同一块封装基板上。NPO的意义是CPO的“实弹演习”——封装体开始变大、热耦合开始出现、测试和维修的方式开始变化光引擎和芯片的间距已经进入毫米到厘米级。等NPO验证完了再迈出最后一步把光引擎正式放进封装里就是真正的CPO。3.3 对客户和系统设计者来说选择逻辑是什么抛开技术细节不同方案的取舍本质上是在三个维度上权衡功耗、成本、可维护性。功耗方面CPO优势最明显。系统级对比里CPO互连功耗要比可插拔方案低30%到50%在动辄几千台交换机的超大规模数据中心里省下来的电费相当可观。成本方面初期CPO的封装和良率成本高总拥有成本反而可能更贵但产业链成熟后会有明显下降空间。可维护性方面CPO目前处于劣势但对头部云厂商来说如果整机可靠性做到位了现场更换的需求并不是不可接受的。目前行业的主流判断是未来2到3年LPO会在800G到1.6T的可插拔市场里吃掉相当大一块份额CPO会在超大规模数据中心的特定场景里开始小规模部署主要应用在交换机和AI集群的背板互连中。到了2027到2028年随着224G SerDes成为主流CPO的性价比拐点可能会真正到来。对于绝大多数企业用户现在不需要急着上CPO但一定要开始关注和储备相关知识因为下一代数据中心架构里它基本是躲不开的选项。4. 从设计到量产CPO真正的“拦路虎”在哪里4.1 热设计激光器怕热芯片更怕热谁先妥协CPO量产最大的工程挑战业内公认是散热。一颗51.2Tbps的交换芯片典型功耗在300到500瓦之间。光引擎如果集成激光器工作温度通常要求低于70摄氏度超过之后波长漂移、功率下降、寿命缩短会接踵而来。交换芯片和激光器挤在同一块封装基板上意味着整套散热系统必须同时满足两个温度需求。如果把激光器外置光引擎本身发热会小很多热设计的矛盾会缓和一些但外部光源模块和光纤链路又会带来额外的工程复杂度。而且封装尺寸变大之后传统的散热器安装方式也需要重新设计散热器既要覆盖交换芯片又要避开光引擎的光纤连接区域几何空间上的冲突非常明显。我做系统设计时特别关注的是“热点”问题。芯片的功耗不是均匀分布的交换芯片的中间区域往往是最高温的地方而光引擎恰好布置在芯片四周。如果光引擎离芯片太近会被芯片的热量烤到超过工作温度范围离太远电互连距离又变长信号完整性的优势就会被稀释。这个“距离和温度”的平衡点是每个CPO封装设计都要反复迭代的课题。4.2 良率和可测试性光引擎坏了到底怎么办可插拔光模块时代测试是分开做的模块出厂前在厂家测好交换机出厂前在设备商那里测好现场用可插拔的方式接上就算完成。CPO把光引擎和芯片封装在一起之后测试链条完全变了。芯片代工厂要测试晶圆上的光电芯片封装厂要测试封装完成后的整体光电器件交换机厂商还要在系统级再做一次光性能测试。每一道测试的复杂度都远高于传统封装。更麻烦的是“故障域”的问题光引擎的故障是随机的如果一颗交换芯片配了16个光引擎其中1个坏了理论上整颗芯片就废了。如果这个概率是1%那16个光引擎全好的概率大约是85%说明有15%的封装体要面临返工或报废。光引擎越多良率挑战越大。解决办法有几个方向。一个是在封装内部做冗余设计多留一两个备用光引擎或者备用通道故障时动态切换。另一个是在测试策略上做文章用小芯片chiplet的方式先把每个光引擎单独测好再封装把“封装后才知道好坏”变成“封装前就知道好坏”。这些措施会增加设计和制造成本但为了可制造性这笔钱必须花。4.3 产业链重塑从“买模块”到“买晶圆封装光引擎”CPO带来的不只是技术变化还有整个产业链格局的重塑。过去光通信产业链里光模块厂商是核心角色负责从光芯片到模块成品的整体制造然后卖给设备商。CPO出现后光引擎变成了和交换芯片一样需要先进封装工艺的“半导体器件”产业链的话语权开始向芯片设计公司、晶圆代工厂和封装测试厂倾斜。光模块厂商如果想继续留在牌桌上就得转型做“光引擎组件”供应商把自己从模块制造商变成半导体供应链上的一环。芯片厂商则要开始理解光学参数学会在封装里处理光纤耦合和光功率预算。晶圆厂和封测厂以前不怎么碰光现在也要建专门的硅光测试产线。每家公司都在快速学习别人的领域整个链条的协作模式相比传统光通信发生了根本性的变化。对系统集成者来说最直观的感受是供应链变复杂了。以前谈一个可插拔光模块的规格书页数再多也就几十页现在一颗CPO封装体的规格书光是热、光、电、机械各个维度的要求和测试方法就能写出一本手册。跨学科协作成为常态做电的要做光学仿真做光的要理解芯片功耗做热的还要懂光纤布线——这正是CPO项目推进起来比传统项目慢很多的原因之一。5. 评估CPO方案时我实际关注过的几个关键点5.1 功耗数字一定要看系统级而非芯片级不少CPO厂商宣传时会给出极具吸引力的功耗对比图比如“单bit功耗比可插拔方案降低50%”。但这里有个容易被忽略的坑芯片级的功耗对比和系统级的功耗对比结论差别很大。CPO把光引擎功耗省下来了但外置激光器要做温控光纤布放增加了机柜内气流的阻力散热系统可能要加大风扇转速这些都会吃掉一部分功耗收益。我在评估方案时通常会要求厂商提供“整机满载功耗”数据而不是单看某个组件的功耗。一颗51.2T交换机用可插拔方案整机功耗可能到1000瓦以上用CPO方案可能能压到700瓦左右但ELSO外部光源单元的功耗大约50到100瓦也要算进去散热系统为了维持封装体内光引擎的温度可能还需要额外的制冷功耗。算完总账再决定值不值得换才不会被宣传数字带着走。5.2 可靠性数字要问清“故障域”和“维修策略”CPO的光引擎不可现场更换这件事是绕不开的坎。评估时不能只看厂商给的MTBF平均无故障时间数字更要问清楚如果封装体失效了整机替换的服务SLA是什么返修周期多久有没有备件机制我见过一个比较合理的方案是模块化的CPO交换板卡设计CPO封装体本身不能现场维修但整块板卡可以快速拔出替换故障板卡返厂拆解后光引擎和交换芯片甚至可以分别回收利用。这种设计思路把“不可维护”的粒度从系统级降到了板卡级运维压力小了很多。采购CPO设备时“板卡级可替换性”这项能力我会建议作为必选项来看。5.3 整机布线方式变革光纤数量是传统方案的好几倍CPO方案里光引擎周围要排列大量光纤通常是MPO/MTP连接器或者光缆带每根光纤对应一个通道。一颗51.2T交换芯片如果用100G/lane的通道密度可能需要512根光纤再乘以备份或分叉结构数量相当可观。传统可插拔方案的光纤都从面板走理线架、配线架都比较成熟CPO方案的光纤从主板上走怎么布线、怎么管理、怎么防止光纤弯折半径过小影响性能都成了实际的工程问题。另外现场维护光纤也是头疼事。传统可插拔模块前面板有导引槽插错位置不容易发生CPO封装的内部光纤一旦在运输或安装过程中被碰伤光功率就会下降而检测和处理这种内部光纤问题比换个模块麻烦得多。厂商如果不能在包装、运输、安装环节做足保护设计客户现场就会很痛苦。这些细节看起来不起眼但实际部署时都是决定项目成败的关键。5.4 个人判断CPO的落地节奏取决于“谁会先扛不住”我的观察是CPO的落地节奏不是由技术成熟度单方面决定的而是由“谁在现有方案里先扛不住”推动的。可插拔方案还能撑的年代厂商没有动力换架构。但AI集群的带宽需求增速大家已经看到了单集群从万卡向十万卡、百万卡规模演进时互连功耗和空间成本会膨胀到难以接受的程度那个时候CPO就是刚需而不是选项。现在最积极的其实是做超大规模数据中心的云厂商他们自研交换芯片和光引擎愿意用功耗换总拥有成本的节省。传统设备和光模块厂商被倒逼着跟进芯片封装代工厂则在扩建硅光产线。整个产业链的动作已经在加速。技术上CPO的大方向毫无悬念工程上它还需要几代产品的迭代来把良率、成本和运维问题打磨到位。我自己在跟踪这些方案时的体会是CPO不是某个单点技术的胜利它代表的是“以封装为中心”的系统设计思路取代了“以板卡为中心”的传统架构。这种范式转移不会在一两年内完成但方向已经很清楚。现在开始做技术储备、测试验证和人才团队的搭建等到大规模部署窗口期到来时才不至于临时抱佛脚。光互连的底层逻辑正在被重写提前看懂的人会在下一轮基础设施升级里占得先机。