前几天帮客户确认一批51.2T交换芯片的散热规格单颗ASIC的TDP已经普遍逼近400W到600W再加上可插拔光模块、SerDes和电源转换的发热一台2U盒式交换机整机功耗轻松破1000W。放在五年前这个功耗级别通常是核心路由器才有的待遇今天一台TOR交换机就把它搬回家了。不少朋友第一反应是AI服务器动辄十几千瓦一个GPU机柜能干到100kW以上网络设备这点功耗算什么但真正做机房规划、机柜散热设计的人都知道网络设备的散热难度一点不比AI服务器低甚至更让人头疼。51.2T交换芯片的出现把以前藏在核心机房的散热难题直接推到了每一台接入交换机、每一排AI训练机柜面前。这篇文章我会把功耗拆开算清楚再把网络设备散热难的原因逐个摆出来最后聊聊液冷、风冷、机架演进这些现实问题以及我实际部署中踩过的坑。1. 51.2T交换芯片功耗破千到底是个什么概念1.1 芯片本身和整机功耗分别花在哪先看数字。51.2Tbps双向交换带宽意味着这颗芯片要支持64个800G端口或者128个400G端口。400G端口大家应该很熟悉了一个端口一秒处理400Gbps的线速流量相当于同时跑几万路高清视频流。要让一颗芯片做到这个吞吐内部要集成几百个112Gbps SerDes通道还要把包缓冲、流量管理、转发表全部塞进同一块die里。规模上去了功耗自然压不住。现在主流51.2T交换芯片单颗ASIC的TDP普遍在400W到600W这个区间。个别早期型号或者为了降功耗做限频的版本能低一些但想跑到满规格线速转发功耗基本都在高位。前几年主流的12.8T交换芯片整机功耗普遍在300W到500W之间25.6T时代涨到600W到1000W到了51.2T这一代整机功耗跑到1500W到2500W已经不算新闻了。这里有个特别容易忽略的细节交换机的整机功耗里交换芯片只是其中一块。真正让整机功耗“破千”的还有一大块来自光模块。一颗51.2T芯片搭配128个400G光模块单个400G QSFP-DD模块的典型功耗在8W到12W插满之后光模块部分就能吃掉1000W以上。800G OSFP模块更夸张单模块功耗大概15W到18W。你可以算一下一台64×800G的交换机光模块全部插满光模块功耗就能到1000W上下。换句话说一台51.2T交换机的“破千”一半靠芯片一半靠光模块两者同时满负荷工作时整机热密度是非常恐怖的。1.2 对比AI服务器功耗高不等于散热难AI服务器的功耗确实大。一台8卡GPU服务器整机功耗6kW到10kW很常见液冷机柜甚至能做到单机柜100kW以上。但功耗高这件事落在不同设备上难度完全不一样。AI服务器通常做成4U、8U的高大机箱机箱内部空间大可以装大口径风扇可以布置大面积散热器更可以直接上冷板液冷。GPU服务器可以在前端进风、后端出风内部风道宽敞散热路径短热源位置相对集中且好处理。网络设备就不一样了。盒式交换机一般只有1U或2U机箱进深往往比服务器短一截风扇不可能装得很大散热器面积也有限。更要命的是网络设备前面板被一堆光模块插口占满进风口只能挤在两侧或面板缝隙里。机箱又薄又扁热源却非常密集交换芯片在中间光模块在前面板内侧电源在后面三块热源一字排开风要先经过光模块再到芯片光模块自己还在发热等于进风温度先被抬了一截。所以AI服务器的散热设计更像“给一个大房间装空调”空间充足手段多。网络设备的散热设计更像是“在集装箱里做通风”每一个U的高度、每一个厘米的进深都得精打细算。功耗数字上网络设备确实比AI服务器低一个量级但散热条件的苛刻程度反而高了一个量级。2. 网络设备散热难在哪儿形态、器件、气流组织2.1 盒式与框式的物理形态约束先说盒式交换机。19英寸标准机架宽度1U高度44.45mm2U也就89mm纵深通常是400mm到500mm。这个空间里要塞进交换芯片、内存、电源、风扇模组、PCB走线还要留出前后通风的通道。散热面积就这么大风扇也只能用4028、6038这类小尺寸规格转速拉高之后噪音和功耗都会成问题。我见过不少客户在实验室里把风扇手动调到100%测温度结果设备能压住但噪音到了100分贝以上放在机房旁边根本没法接受。框式交换机的情况更复杂。框式设备通常是4U到16U但内部被线卡、交换网板、管理模块、电源模块分隔成若干独立风道。线卡插槽一个挨一个交换网板在中间很多正交架构的设备要求风从前面板进入穿过线卡再经过正交连接器到达交换网板最后从机箱背面或顶部排出。整个风道非常长路径上的每一处结构件、每一个连接器都会产生风阻风量分配稍微不均衡就会有个别槽位温度偏高。实际运维中框式交换机的槽位间温差超过5℃到8℃是很常见的事。不管盒式还是框式网络设备还有一个服务器不太会遇到的麻烦空槽位、空端口会破坏风道。服务器内部空硬盘位、空PCIe槽位虽然也影响风道但远没有网络设备那么敏感。交换机里每一条线卡槽位都有独立风道如果某个槽位没插线卡却不装盲塞气流就会从空槽直接旁路下游芯片反而吹不到风。很多温度告警最后排查下来就是因为少装了一块盲塞。2.2 光模块让前面板变成第二热源前面提到光模块功耗高这里再往深了说。可插拔光模块的位置就在前面板内侧紧挨着进风口这个位置极其尴尬。空气从机柜冷通道吹进交换机前面板时首先要经过一排排光模块尾纤和模块笼子。光模块本身工作温度高外壳温度经常到60℃以上风经过这里的时候已经被加热了。原本机房送风温度22℃到25℃穿过光模块区域之后到交换芯片风道入口可能已经变成28℃到30℃。更麻烦的是光模块的散热和交换芯片的散热在风道上是串联关系。你加再大的风量先服务的是光模块交换芯片只能吃到“二手风”。而光模块对温度又非常敏感温度过高会导致光功率下降、误码率上升严重时直接丢链路。一台51.2T交换机插满128个400G光模块一旦某个区域通风不良先是模块告警接着就是端口抖动最后整机风扇拉满都没用。我在现场排查过不止一次这种问题。客户反馈核心交换机频繁报光模块高温进机房一测前面板确实很热进风温度比环境温度高了接近5℃。后来发现那一排机柜的设备安装方向错了交换机背部朝向冷通道等于整个气流方向反了光模块风口直接被堵死。调整方向之后光学模块温度降了10℃以上链路告警全部消失。这类问题在AI服务器上几乎不会出现因为GPU服务器的热源在机箱内部前面板就是进风格栅没有额外的发热元器件挡在风口上。2.3 冷热通道下的气流组织“死规矩”数据中心基础设施层面主流设计还是冷热通道隔离。机柜正面朝向冷通道设备前进风背面朝热通道设备后出风。这个规矩对服务器适用对网络设备同样适用但网络设备在这场规矩里活得很憋屈。首先网络设备安装位置很尴尬。TOR交换机通常放在机柜顶部或者放在高密度计算柜的中上部。热空气是往上走的GPU服务器从机柜前下部进冷风从后面排出大量热风热风上升之后正好会被顶部的TOR交换机吃进去。如果机柜本身是密闭冷通道交换机的进风温度往往会比服务器高好几度。很多AI机柜里GPU一台没热TOR交换机先红了。其次网络设备的端口线缆数量极其恐怖。一台128端口交换机前后两面可能密密麻麻全是光纤和跳线。机柜里光纤走线槽、理线架、跳线盘会占掉不少空间尤其是在交换设备的前面板附近尾纤盘成一团等于把进风口堵一半。服务器前面板也有网线和电源线但数量少得多风道不容易被线缆堵塞。交换机机柜里最常见的温度异常原因不是风扇坏了而是尾纤把进风口给堵了。最后机架演进带来一个新问题AI服务器机柜功率密度一路飙升从传统8kW机柜到20kW、40kW再到GB200 NVL72那种单机柜120kW以上。这个演进过程中液冷冷板大规模进入机柜GPU节点不再依赖风冷排热但网络设备多数还是风冷方案。于是机柜里出现“一半液冷、一半风冷”的混搭状态冷通道的送风量和送风温度主要是为液冷服务器设计的结果交换设备在旁边根本分不到足够的风量或者吃到的全是别的设备排出来的余热。3. AI服务器机架演进后网络设备的位置更尴尬3.1 从8kW到120kW机架液冷改变了机柜热环境早期数据中心一个42U机柜跑8kW到15kW风冷完全够用。到了H100时代单机柜40kW到60kW就很常见风冷已经明显吃力冷板液冷开始成为标配。再往后到GB200 NVL72这种整机柜方案单机柜功耗直接突破120kW这个热量密度下风冷几乎没戏必须全部液冷。液冷解决了GPU的散热但带来了两个新麻烦。第一机柜里不再有大风量从下往上吹空气的流动量比纯风冷时代小得多。对于仍然依赖风冷散热的网络设备来说机柜内局部的“可用风量”反而变少了。第二液冷系统的回水温度通常在45℃到60℃之间机柜周围的环境温度会比传统风冷机房略高交换机进风温度更压不住。很多客户在规划AI机柜时GPU液冷方案定了却没考虑TOR交换机的进风温度会升高最后只能加装后门热交换器来补救。3.2 交换设备在液冷机柜里如何自处后门热交换与液冷交换针对这种局面现在行业里主要有三条路线。第一条路线是维持风冷但把网络设备挪到独立的冷通道区域或者使用带后门热交换器的机柜。后门热交换器本质上是在机柜后门装一个液冷盘管设备排出的热风先经过盘管冷却再回到机房。这样做的好处是交换设备本身不用改升级简单缺点是要额外接冷却水机柜宽度、深度都会增加而且热交换器本身也会占掉一部分机柜空间。第二条路线是给网络设备做冷板液冷。现在有几家交换芯片厂商开始推液冷版51.2T芯片直接把冷板贴在芯片顶盖热量通过冷却液带走。整机功耗可以压到1000W以内进风温度要求大幅放宽。但这个方案的问题在于光模块还是风冷或自然散热光模块区域的温度依然受环境温度影响。冷板液冷只能解决芯片这一个热源光模块那1000W的发热量还得靠空气带走。第三条路线是浸没式液冷把交换机直接泡在冷却液里。浸没式散热能力最强但网络设备的可维护性会受影响。光模块插拔、线缆调试都要在冷却液里操作远不如风冷设备方便。目前浸没式在部分超大规模数据中心有应用但还没有成为主流。从我接触过的项目看短期内最稳妥的还是“风扇拉高局部风道优化后门换热”的组合。液冷交换机会越来越多但要让运营商和大型企业接受“泡在水里”的核心交换设备还有一段路要走。3.3 一次实际部署模型镜像拉好后TOR先热的教训今年早些时候我帮一个客户部署AI推理服务器。硬件是几台GPU服务器加两台51.2T TOR交换机规划时我把GPU功耗、空调制冷量都算了一遍觉得完全没问题。客户那边提前把容器镜像和大模型权重文件拉到了GPU服务器上系统镜像也配置好了等把所有推理服务容器跑起来GPU负载往上走机柜里的温度告警立刻响了。告警的不是GPU是那两台TOR交换机的光模块温度。当时机柜采用密闭冷通道冷风从底部送进来GPU服务器在前面板进入冷风后部排出热风。两台TOR交换机安装在机柜顶部正好处于热空气回流区域。GPU满负荷之后顶部回风温度比冷通道温度高了十几摄氏度TOR交换机光模块入口温度直接飙到50℃以上风扇转速瞬间拉满噪音大得在旁边工位根本待不住。后来处理方式是加了两块盲板把机柜顶部空余空间封掉同时在TOR交换机前方加装了导风罩从冷通道单独接了一路冷风进去光模块温度才稳定在40℃以下。这个事给我的教训是规划AI推理机柜时只看GPU的功耗和制冷远远不够网络设备虽然功耗不高但它对环境温度的耐受窗口窄得多。像TOR交换机这种位置必须专门算它的进风温度而不是用机房环境温度代替。4. 散热路线怎么选风冷、冷板液冷、浸没式4.1 风冷极限与风扇曲线优化风冷能撑多久这是每个做网络硬件的人都在问的问题。从纯物理角度看1U设备在19英寸机架里的进风面积大约0.04平方米到0.05平方米按8℃到10℃的送风温差来算风冷能带走的热量大约在几百瓦到一千瓦之间。再往上走要么风量大到噪音和功耗都失控要么进风温度低到机房出现凝露。所以2U盒式交换机整机功耗做到2000W以上时风冷已经逼近工程极限更不用说1U设备直接跑1500W功耗的场景了。风冷真正要做好的关键不在于风扇能转多快而在于风扇曲线和控制策略。主流交换机都会根据ASIC温度、光模块温度和进气温度综合调节风扇转速。很多人误以为风扇转速拉满就一定好实际不是这样。转速拉满一方面噪音大另一方面会在机箱进风口形成过大负压反而可能导致热风从缝隙回流。正常情况下风扇曲线应该让设备工作在PID调节的中间段维持进风口和出风口有一个稳定的压差同时留出转速余量应对突发高温。我实际调过不少网络设备的风扇策略。碰到整机功耗不高但个别芯片点温度偏高的情况我会先查散热器安装是否到位、硅脂是否均匀再查风道里有没有被线缆或盲塞堵住最后才会去动风扇转速设置。一上来就手动拉满风扇转速治标不治本还容易掩盖真正的结构问题。4.2 冷板液冷和浸没式的适用场景冷板液冷对网络设备来说适用场景主要是两类。一类是超大规模数据中心交换机部署密度极高整柜功耗压力大液冷可以显著降低机房对风冷空调的依赖让机柜布局更灵活。另一类是AI智算中心机柜里GPU已经全部液冷了交换设备如果继续纯风冷反而成了整个散热链条里最弱的一环。这时候给交换芯片上冷板整机功耗降低进风温度要求放宽整个机柜的散热设计才会统一。浸没式液冷的散热能力最强全浸没之后芯片表面温度可以压得很低光模块也泡在冷却液里散热效果远超风冷。但浸没式对网络设备有一个很现实的问题运维方式完全不同。网络设备的光模块是易耗品链路扩容、故障排查都要插拔模块浸没环境下做这些操作非常别扭。目前浸没式交换机在部分特定场景有落地但短期内不太可能大规模替代风冷和冷板方案。从长远看我认为51.2T这一代已经是纯风冷的晚期阶段了。到了102.4T甚至更高带宽的交换芯片时代液冷大概率会成为网络设备的主流选项。但在这个过渡期里大量存量机房和新建机房的网络设备还是以风冷为主散热优化的核心任务不是换掉冷却方式而是把风道、风扇、环境三者匹配到最优。4.3 可靠性要求下的“不敢用液冷”网络设备不敢贸然上液冷还有一个服务器领域不太突出的原因可靠性要求。电信级网络设备追求的是99.999%可用性一年停机时间不超过5分钟。液冷系统虽然散热效率高但漏液风险、冷却液导电性、维护复杂度都比风冷高。任何一次冷却液泄漏都有可能直接毁掉整台交换设备甚至牵连同一个机柜里的其他设备。做服务器液冷的时候漏液了可能只影响几块GPU重启一下还能恢复。但核心交换机漏液影响的可能是整个数据中心的所有南北向流量这个损失谁也扛不住。所以网络设备上液冷通常要在设计阶段就把漏液检测、双路供水、快速接头这些安全机制全部做进去。这也是为什么很多交换机厂商至今还在坚持风冷版本优先液冷版本更像是“给特定客户定制的选项”。我在评估液冷方案时通常会问三个问题第一液冷系统的维护周期和漏液风险是否可控第二光模块更换时是否需要先断液第三冷却液品质和过滤要求是否能长期满足。这三个问题解决不了再好的散热收益我也会暂缓采用。可靠性这件事在AI服务器上是加分项在网络设备上是硬门槛。5. 常见问题与现场排查实录5.1 温度高得离谱先查风道旁路和远端进风温度排查交换机温度问题时我一般先看两个数据一是设备进风温度传感器读数二是机柜前门1米处的环境温度。很多温度告警的根源不是设备散热设计不行而是设备吃到的空气根本就是热风。举个最常见的例子密闭冷通道机柜空调送风温度设定22℃但交换机进风温度显示28℃甚至30℃。这种情况多半是冷通道密封不严热通道的热风回流到了设备前方。排查方法很简单拿一个手持温度计在机柜前门从上到下测一遍如果顶部温度明显高于底部基本可以确定是热空气回流。处理办法是加密冷通道顶部的封板封掉机柜空U位再把地板出风口的出风方向调整一下让冷风优先覆盖设备进风口。还有一类情况是地板下送风机房常见的气流旁路。机柜底部没有安装底板或者地板开口过大冷风没有进入设备直接从机柜底部漏到热通道设备进风口反而风量不足。这种问题在AI服务器机柜里不太明显因为GPU服务器本身风量大一点风量泄漏影响有限。但交换机设备进风面积小对风量偏差非常敏感旁路掉30%的风量芯片温度就可能差出8℃到10℃。5.2 风扇转速拉满还是压不住可能是光模块带来的热设备温度告警风扇转速已经100%芯片温度还是降不下来这种情况我遇到过好几次。一开始大家都会怀疑散热器松动或者硅脂干了拆开检查也没发现问题。后来仔细看温度传感器分布才发现报警的根本不是ASIC而是光模块区域的温度。光模块温度过高和交换芯片温度过高是两回事。光模块靠近前面板本身功耗又高如果光纤尾纤排布太密把风道堵住模块区域的局部温度会非常夸张。有个客户排查了整整两天最后发现是光纤跳线全部用魔术贴扎成了一整捆正好堵在交换机前面板中部进风区域导致中间那一排光模块几乎吹不到风。把线缆重新理线、分散开之后同样负载下光模块温度直接降了12℃。光模块高温还有一个隐蔽原因模块自身使用的激光器方案。同是400G光模块不同厂家、不同代次的型号功耗可能差出3W到4W。在大型数据中心里交换机上很少统一用同一批模块新旧模块混插很常见。高功耗模块如果恰好集中在一个区域局部热密度就会特别高。排查时可以用命令查看每个光模块的功耗和温度把高功耗模块分散到不同风扇分区往往能明显改善整体温度分布。5.3 冷通道温度过低造成的凝露问题说到低温环境有个反向问题也值得提一下。机房制冷功率过剩时有人会把冷通道送风温度设定到18℃甚至更低觉得“越冷越好”。但对网络设备来说过低的进风温度加上机房湿度偏高会导致光模块接口和PCB表面出现凝露。水汽凝结在电路板、光模块金手指、电源连接器上轻则产生腐蚀重则直接短路。凝露问题在南方机房和高湿地区很常见。看起来是“散热问题”其实是温湿度联控问题。处理办法是结合机房露点温度来设定空调送风温度一般要求冷通道温度和露点温度之差大于2℃以上同时进风温度不要低于设备厂商规定的最低工作温度。我通常建议把冷通道温度控制在22℃到25℃之间湿度控制在40%到60%这个区间对网络设备最合适。5.4 问题排查速查表症状可能原因排查方向进风温度偏高风扇转速偏高冷热通道密封不严、热风回流测机柜前门上下温度封堵机柜盲板检查冷通道密封整机温度高但进风温度正常风道被尾纤、理线架堵塞检查前面板区域线缆排布重新理线分散线缆捆扎个别槽位或端口区域温度异常空槽位缺少盲塞、模块功耗过高集中补齐盲塞分散高功耗光模块检查风道挡片光模块温度高芯片温度正常光模块功耗高、模块区域通风不足查看光模块功耗命令更换低功耗模块调整前端气流设备表面凝露出现电路故障冷通道温度过低、湿度偏高提高送风温度检查露点增加除湿液冷机柜内交换机温度高机柜风量分配偏向液冷节点增加后门热交换器给交换机独立导风罩调整机柜布局6. 我的体会与几条实操建议6.1 做网络设备散热规划时我先算的三笔账这么多年做网络设备部署和机房规划我形成了一个习惯接到项目先算三笔账。第一笔是设备功耗账把所有交换机的整机功耗、光模块功耗、冗余电源损耗都加进去算出每个机柜的实际发热量。第二笔是风量账根据每台设备的进风面积和散热需求估算需要的总风量再对照机房空调和地板送风能力看是否匹配。第三笔是温度账从冷通道送风温度开始沿风道推算到设备进风口、光模块区域、芯片表面的温度梯度确保每一级都在规格范围内。这三笔账算下来很多问题在规划阶段就能暴露出来。比如两台高功率TOR交换机放在同一个密闭冷通道机柜顶部进风温度一定不满足要求再比如一排高密度AI机柜的末端如果还安排了一个机柜的网络设备那台交换机的进风温度大概率会超标。提前算账比事后加风扇、加空调省心得多。6.2 如果你也在规划51.2T交换设备的散热记住这几条第一不要把交换设备放在机柜最顶部的高温回风区。确实没有别的位置时一定要给交换设备加导风罩或者后门热交换器单独解决进风温度问题。第二新采购的设备要问清楚是风冷版还是液冷版。51.2T这一代很多型号开始分风冷和液冷两个版本结构设计完全不一样后期没法直接改装。第三上架前做一次满负载温度测试。找一台高功耗负载仪把流量打满测一下交换芯片、光模块、电源模块的温度是否在安全范围内。这一步能过滤掉大多数散热设计隐患。踩过几次坑之后我现在最深的体会是网络设备散热难难不在功耗数字本身而是在于它的形态、部署位置和可靠性约束把散热空间压缩到了极致。51.2T交换芯片功耗破千并不是终点。后面还会有更高带宽的芯片出现但散热设计的基本逻辑不会变——先算清账再谈方案永远不要在设备上架之后才想起散热问题。