跳到正文
数据中心运营管理·· 8 小时前AI 评分64

高功率机柜时代:Rubin全液冷架构与二次侧关键技术解析

高功率机柜时代:Rubin全液冷架构与二次侧关键技术

AI 导读

Rubin全液冷架构将网络、存储、供电和光模块等部件全部纳入液冷并取消系统风扇,实现整柜100%液冷,可支持数据中心PUE降至1.1。文章拆解二次侧冷板、UQD、Manifold与CDU等部件升级,指出新一代CDU额定散热能力约2.3MW,并采用45°C暖水液冷。

正文

原创 晨雨 2026-11-04 08:37 天津

机柜功率从 5—10kW 一路冲到 132—140kW,传统风冷已经顶不住。Uptime Institute 的数据很直白:常规风冷机柜约 20—25kW,近端制冷能撑到 50kW,逼近 150kW 基本得全液冷。直接推手是 AI 服务器功率密度——IEA 统计 2020—2025 年提高约 11 倍,到 2027 年还要再提约 4 倍。本文拆解 Rubin 全液冷到底改了什么,以及二次侧冷板、UQD、Manifold、CDU 这些部件为什么同步在升级。

一、机柜功耗撞上风冷墙

AI 算力需求把数据中心用电和机柜功率同时推高。IEA 预计全球数据中心用电量由 2024 年约 415TWh 增至 2030 年约 945TWh,其中加速服务器贡献接近一半的新增用电。机柜侧,传统数据中心机柜约 5—10kW,GB200 NVL72 整柜约 125—135kW,GB300 提到约 132—140kW,已是传统机柜的十余倍。到 2027 年,先进机柜的峰值用电相当于约 65 户家庭。

风冷不是不能做,是做到 50kW 以上性价比急剧下降,150kW 附近必须液冷或风液混合。Uptime Institute 给出的边界是:常规机房风冷约 20—25kW,近端制冷约 50kW,超过 50kW 通常用液冷或风液混合,接近 150kW 则需要全液冷或接近全液冷。

国产超节点进一步放大了散热压力:某 384 芯片互联方案系统功耗约 559kW,约为同代方案的 4 倍;某 128—144 颗 GPU 方案供电能力最高 350kW、散热能力最高 500kW。芯片数量和互联规模堆上去,冷板、分液、输液和换热都要跟着提规格。

对比项目

NVIDIA GB200 NVL72

国产 384 芯片超节点

国产 128–144 GPU 超节点

加速芯片数量

72 颗 Blackwell GPU

384 颗 AI 芯片

128–144 颗 GPU

功率 / 散热指标

约 145kW 系统功耗,约 120kW 冷却能力

约 559kW 系统功耗

最高 350kW 供电能力,500kW 散热能力

二、从重点部件液冷到整柜 100% 液冷

GB200 到 GB300 再到 Rubin,液冷覆盖范围持续扩大。GB200 中 1 颗 CPU 和 2 颗 GPU 共用一套整合式冷板;GB300 部分方案升级为 CPU 和 GPU 分别配置冷板并接入液路,冷板和 UQD 用量随之增加。Rubin 进一步把网络、存储、供电和光模块等部件全部纳入液冷,并取消系统风扇——从"重点部件液冷"变成"整柜 100% 液冷"。

配置增量集中在几处:计算托盘冷板由 18 块增至 27 块,整柜快接头(QD)由 180 个增至 360 个,托盘内新增 Manifold 并采用更高流量快接头,系统风扇取消。全液冷方案可支持数据中心 PUE 降至 1.1,在供电容量不变时把更多电力留给计算。

对比项目

GB200 NVL72

GB300 NVL72

Rubin NVL72

计算托盘冷板

1 颗 CPU + 2 颗 GPU 共用整合式冷板

CPU、GPU 分别配置冷板(部分方案)

计算托盘 100% 液冷

交换托盘冷板(测算)

18 块

27 块

NVLink 交换托盘 100% 液冷

整柜 QD 数量(测算)

180 个

360 个

约 360 个

托盘内液路

传统软管连接

传统软管连接

新增托盘内 Manifold,采用更高流量快接头

风扇

保留

保留

取消

表中数量为典型整柜方案的公开测算值,不同机型会有差异。

三、一次侧与二次侧:两套回路怎么分工

液冷系统由一次侧和二次侧两套回路组成。二次侧直接连接服务器,负责吸收 CPU、GPU 等部件的热量;一次侧连接机房冷却设备,负责把热量继续带出机房。CDU 位于两套回路之间,通过换热器完成热量传递,两侧冷却液分别循环、互不混合。

液路走向是:冷却液由 CDU 送出,经机柜级 Manifold 分配至不同托盘,再通过管路和 UQD 进入冷板;冷板贴合发热部件吸热,升温后的冷却液沿回路汇集,最终返回 CDU,由一次侧冷却水经换热器把热量带走、送向冷水机组或冷却塔。

四、三种液冷路线怎么选

三种方案的核心区别,在于冷却液与服务器热源的接触方式不同:

冷板式:冷板贴合芯片,冷却液在冷板内循环,不直接接触电子元件;

浸没式:服务器整体浸入绝缘冷却液,由液体直接吸收各部件热量;

喷淋式:绝缘冷却液直接喷向发热部件,实现定点散热。

冷板式对现有服务器结构和运维改动最小,配套最成熟,是当前数据中心液冷的主流;浸没式散热能力强,但服务器结构和维护方式要相应调整,目前主要用于超算及高热密度场景;喷淋式无需整机浸入,但系统成熟度和部署规模仍有限,以试点和示范为主。

对比项目

冷板式

浸没式

喷淋式

怎么散热

冷板贴合芯片,冷却液在冷板内循环

服务器整体浸入绝缘冷却液

冷却液直接喷向发热部件

是否直接接触电子元件

否

是

是

对服务器改动

较小

较大

较小

当前应用

规模应用,市场主流

特定高热密度场景

试点、示范为主

五、二次侧关键部件拆解

二次侧液冷由冷板、管路与 UQD、Manifold、CDU 及配套部件构成。冷却液从 CDU 出发,经两级 Manifold 与 UQD 抵达冷板取热,再沿回液汇集;冷却液、密封件和传感器保障液路长期稳定。

冷板直接贴合 GPU、CPU、DIMM、交换芯片和光模块等发热部件取热。结构上主要由底板、内部流道和盖板组成,制造时先通过铣削、铲齿加工流道,再连接底板与盖板并封合,常见工艺包括钎焊,封合后还要做气密和耐压测试。核心指标是同时兼顾散热能力和密封可靠性:流道更细密能增加换热面积,但也会抬高流动阻力;底板与盖板之间的连接封合位置,长期运行要保持可靠密封。Rubin 计算托盘进一步提高冷却液流量,冷板要在更高流量下兼顾散热能力、压降和密封。

冷板沿三条路线提升散热能力:

微通道已成熟应用,3D 打印复杂流道仍在导入;铜-金刚石等复合材料加快局部热扩散,但成本和加工难度高;两相冷却靠冷却液汽化提升单板散热上限,系统设计和控制更复杂,仍处于商业化早期。

管路负责把冷却液送到各个冷板并送回。液冷系统常用软管、刚性金属管和金属波纹管:软管弯曲方便,适合空间小的位置;刚性金属管和金属波纹管强度更高,波纹管还能适当弯曲,适合有振动或热胀冷缩的位置。长期运行的主要风险是漏液——管路长期承压,又受温度变化、弯折和振动影响,接头松动、密封失效、连接部位开裂都可能带来泄漏。Rubin 计算托盘采用无软管设计,重新布置内部 Manifold 和 UQD,减少托盘内的软管和接头,把漏液风险点压下去;机柜与 CDU 之间仍需要金属管或柔性管路,升级重点是耐压和长期可靠性。

UQD负责连接液冷管路,并在拆装服务器时快速接通或断开冷却液。接头插合后内部阀门打开,拔开后阀门关闭,减少冷却液流出;盲插 UQD 把接口固定在托盘和 Manifold 上,托盘推入机柜即自动完成液路连接,不必逐根插软管。关键要求是多次插拔仍不漏液、接口能准确对位——盲插存在一定偏差,接头无法自动调整就容易插接不到位甚至损伤。Rubin 采用无软管设计并重新布置内部 Manifold 和 UQD,进一步采用更大通流的快接头,在更大流量下保持较低的流动阻力和长期密封。

Manifold负责把冷却液分配到不同托盘和支路,并汇集回液。按安装位置分列级和柜内两类:列级 Manifold 连接 CDU 和多个机柜,一套最多可服务 10 个机柜;柜内 Manifold 安装在机柜内部,把冷却液进一步分配到服务器冷板。核心难点是多支路流量分配均匀——不同支路的长度、接口数量和流动阻力不同,容易出现供液不均,需要优化主管和分支设计,并通过压力和漏液测试验证密封。Rubin 的 Manifold 支持更大流量,并向更多部件供液:相比 GB200/GB300 主要服务 CPU 和 GPU,Rubin 把液冷扩展到网络和存储部件,Manifold 也要把冷却液分配到这些部件的冷板。

六、CDU:二次侧的心脏

CDU 负责让二次侧冷却液循环,并把服务器产生的热量传给一次侧。冷板吸热后的冷却液回到 CDU,在换热器中把热量传给一次侧冷却水;降温后的冷却液由水泵送回机柜,依次流经 Manifold 和冷板继续散热。按一次侧换热介质不同,可分为液-液 CDU、液-气 CDU 和液-制冷剂 CDU。

CDU 内部主要由水泵、换热器和监控部件组成:水泵推动冷却液循环,提供所需流量和压力;换热器把二次侧热量传给一次侧;过滤器去除冷却液杂质;温度、压力和流量传感器持续监测系统状态;控制器依据监测值调节水泵转速,使流量保持在合适范围,并通过调节一次侧控制阀开度控制供液温度。

内部水泵要及时、准确地调节流量,同时保证供液稳定。芯片功耗提高时,冷板需要更多冷却液;负载下降后,继续维持过高流量只会增加水泵能耗和系统压力。因此 CDU 通常采用变频泵,按实际散热需求调转速,同时配置双泵或多泵冗余,单台故障或检修时其他泵接替工作,避免整机停冷。

演进方向是大冷量、高流量供液和高可靠、高精度控制。上一代 CDU 额定散热能力约 1.35MW,新一代在相同温差条件下达到约 2.3MW,提升约 68%。可靠性方面,传感器冗余由 1+1 升级到 2+1,过滤精度由 50 或 100μm 提高到 25μm,以过滤更细杂质;同时采用多台水泵并联并额外配置备用泵。Rubin 继续采用 45°C 暖水液冷,在相同机柜空间内显著提高散热能力,CDU 因此向 MW 级功率和更大供液能力升级。

七、冷却液、密封与监测:长期运行的底线

冷却液在冷板与 CDU 之间循环传递热量,常见有去离子水、乙二醇水溶液和丙二醇水溶液。除了散热,冷却液还要长期稳定,不能腐蚀冷板、管路和换热器,也不能影响密封件正常工作。

密封件用于防止各连接位置漏液,常见形式有密封圈、密封垫片和隔膜,材料分橡胶、工程塑料、不锈钢等。液冷系统长期运行后,密封圈持续接触冷却液并承受温度和压力变化,需要具备耐腐蚀、耐老化能力,并长期保持密封。

传感器负责及时发现液路异常,按功能分流量、温度、压力和漏液四类:流量计监测冷却液是否正常流动,温度和压力传感器判断系统是否稳定,漏液传感器用于发现冷却液泄漏。

小  结:

几个判断:

1. 冷板式在百千瓦机柜仍是主线,Rubin 把液冷从"GPU/CPU"扩到"整柜",二次侧液路数量和复杂度上了一个台阶。

2. 部件升级集中在三处:冷板更高流量与压降的平衡、UQD 盲插与更大通流、CDU 向 MW 级与冗余变频发展。

3. 漏液是长期运行的头号风险。无软管设计、均匀供液、密封与传感监测,是工程落地的硬约束,比单点散热指标更决定系统可用性。

4. 45°C 暖水液冷加 MW 级 CDU,意味着二次侧不仅要会"换热",还要会"精准控流"。控制逻辑和冗余策略,比硬件选型更吃功夫。

文中数据来源:IEA、Schneider Electric、Uptime Institute、OCP 及英伟达、Google 公开架构资料。文中配置数量为典型整柜方案公开测算值,仅供技术参考。

-END-

未经书面授权,禁止转载。

☼

往期精彩内容

☞免费领取数据中心基础设施运维资料

☞【视频分享】数据中心基础设施运维工程师培训

☞数据中心基础设施工程验收检查表-Excel电子表格

☞数据中心基础设施运维工程师培训教材

☞数据中心基础设施规划设计精品视频课程分享

☞数据中心基础设施运维工程师培训PPT课件汇总

☞数据中心基础设施运维3P文件整理汇总(231014)——2025更新版

☞数据中心基础设施一线值班员实战手册

☞数据中心基础设施一线管理者实战指南

【版权声明】

凡本公众平台注明来源或转载的文章或图片,版权归原作者及原出处所有,仅供大家学习参考之用,若来源标注错误或侵犯到您的权利,烦请告知,我们将立即删除。

【免责声明】

本公众平台对转载、分享的内容、陈述、观点判断保持中立,不对所包含内容的准确性、可靠性或完善性等提供任何明示或暗示的保证,仅供读者参考。

跳转微信打开

来源:数据中心运营管理 · mp.weixin.qq.com