NVIDIA GB200与GB300系统均属于超高功耗的AI算力集群,传统的风冷技术已无法满足散热需求,两者均必须采用全液冷架构(以单相芯片直接液冷 Direct-to-Chip 为主)


随着从GB200演进至GB300,芯片与整机柜的功耗显著上升,对液冷散热系统的性能指标提出了更严苛的要求。

一、 散热系统需求对比

维度GB200 系统 (如 NVL72)GB300 系统 (NVL72 / NVL144)
单芯片功耗 (TDP)~1000W(B200)~1400W(B300 Ultra,预计上升40%)
单机柜功耗 (Rack Power)~120kW~150kW – 200kW+
核心散热技术冷板式液冷(Direct-to-Chip Liquid Cooling)高流速/微通道冷板式液冷(局部或引入相变液冷)
热阻要求~0.020 °C/W~0.015 °C/W(需降低约25%热阻)
流体控制要求传统微通道铜冷板,流量约 1.0-1.5 LPM/GPU超精细微通道(<0.2mm)、更高流量(1.5-2.5 LPM/GPU)

GB300的主要变化:

由于GB300集成度更高、HBM容量更大且功耗增加,散热系统需要在冷板制造工艺(如微通道精密度、扩散焊/真空钎焊技术)以及CDU换热能力上全面升级,流体管道也需要更大口径以承载更高的流量。

二、 液冷系统核心组成与关键供应商

液冷链条从“芯片级”延伸至“数据中心机房级”,核心部件及主要供应商如下:

1. 液冷冷板 (Cold Plates) & 芯片级组件

直接贴合GPU、CPU和HBM,将热量传导至冷却液。

  • 欧美/国际头部供应商(NVIDIA Recommended Vendor List):

    • CoolIT Systems全球液冷冷板龙头,深度参与NVIDIA设计)

    • Boyd Corporation博伊德,NVIDIA RVL认证核心供应商)

    • Aavid / Boyd

  • 台系及本土供应链:

    • 双鸿 (Auras)奇鋐 (AVC)(台系两大散热巨头,GB200/GB300主力供应)

    • 高力 (Kaori)建准 (Sunon)

    • 中国大陆供应商: 飞荣达、英维克、思尔特(ToneCooling)等

2. 分快换接头 (Quick Disconnects, QDCs) & 液冷分流管 (Manifolds)

负责服务器托盘与机柜主管道之间的快速连接与流量均分。

  • 快换接头 (QDC) 供应商:

    • CPC (Colder Products Company)(全球最高市占率)

    • Stäubli (史陶比尔)Parker Hannifin (派克汉尼汾)

    • Danfoss (丹佛斯)

  • 分流管 (Manifolds) 供应商:

    • BoydCoolIT双鸿AVC

3. 冷却液分配单元 (CDU - Coolant Distribution Unit)

机柜内或机柜旁的核心二次回路泵送与换热设备。

  • 国际数据中心基础设施巨头:

    • Vertiv (维谛技术)(NVIDIA散热生态关键合作伙伴)

    • Schneider Electric (施耐德电气)

    • Eaton (伊顿)

    • CoolIT Systems

  • 台系及大陆供应商:

    • 台达电 (Delta Electronics)光宝 (Lite-On)

    • 英维克 (Envicool)高澜股份申菱环境

4. 盲插接头与管路 (Hoses & Busbars/Piping)

  • TE Connectivity (泰科)Amphenol (安费诺)Huber+Suhner


附:GB200 VS GB300 单芯片参数对比:


GB200 VS GB300 系统级(NVL72机架)对比:




各位老铁,随着英伟达 Blackwell 架构的全面铺开,AI 数据中心的运维逻辑正经历一场彻底的洗牌。当单柜功耗逼近 140kW,72 颗 GPU 被 NVLink 5.0 焊死成一个“巨型大脑”时,传统的“单机排查”思维已经彻底失效。从 GB200 到 GB300,实施运维的跨越并非简单的硬件升级,而是从“经验驱动”向“系统级精密工程”的质变。

一、 架构认知壁垒:从“管服务器”到“管超级计算机”

在 GB200 时代,运维团队的核心逻辑依然带有一定的“单机思维”。尽管 GB200 NVL72 采用了整机柜设计,但故障排查时,工程师仍习惯于通过管理模块去界定是单托盘故障还是整柜链路问题,操作逻辑相对独立。

然而,GB300 的实施运维彻底打破了这一边界。在 GB300 NVL72 架构下,72 颗 GPU 在逻辑上就是一块“巨型 GPU”。这意味着故障域发生了爆炸式增长:任何一根铜缆的微小波动、单个托盘的异常,甚至微秒级的电压波动,都可能导致整个集群的训练任务中断,数十颗 GPU 资源被重置。运维的排查逻辑必须从“单元级”跃升至“整柜系统级”。面对 NVLink 5.0 的全互联拓扑,日常的链路验证不再是简单的“插拔测试”,而是需要借助专业的压力测试软件栈,在复杂的多卡互联拓扑下排查潜在的通信瓶颈。

二、 环境基建壁垒:从“防漏液”到“微米级洁净度与热阻控制”

GB200 将数据中心拉入了液冷时代,运维人员需要适应“水管工”的角色,重点监控冷却液流速、压力以及 CDU(冷却分配单元)的运行状态。

但 GB300 单卡 TDP 飙升至 1400W,为每个 GPU 配备了独立的“一进一出”液冷板,导致系统快接头(UQD)数量相比 GB200 翻倍。这不仅仅是防漏液难度的增加,更是对“微米级洁净度与热阻控制”的极限考验。实施团队必须确保冷板接触面平整度达到 ≤0.03mm,接触压力精准控制在 400-600kPa,以实现极低的目标热阻。同时,由于微通道冷板极其精密,微米级颗粒物即可导致流道阻塞。实施过程必须在无尘车间进行,并借助专业流道清洗机将颗粒物严格管控至 80μm 以下,形成完整的清洁度闭环验证。

此外,GB300 引入了 800V 高压直流(HVDC)供电,并标配了超级电容与 BBU(电池备份单元)以应对瞬态功耗尖峰。日常运维中,必须定期校验备电系统的充放电性能,这对机房的配电系统和运维人员的高压安全操作提出了极高要求。


三、 标准化作业壁垒:从“经验驱动”到“SOP强制约束”

在 GB200 阶段,故障排查和日常维护仍部分依赖运维工程师的个人经验。但在 GB300 时代,容错率已被压缩至极限,维保高度依赖全生命周期的标准化管控。

GB300 的实施运维要求所有操作(包括人员 PPE 穿戴、防静电措施、高压断电流程)必须严格遵循标准作业程序(SOP)和 Checklist,将风险扼杀在萌芽阶段。除了日常的 CDU 参数监控,实施运维团队还需执行季度级的深度维护(如冷却液取样化验、UQD 密封性复检、1.6T 光模块光衰测试),以及年度大修(如 BBU 深度充放电测试、液冷回路排空清洗)。传统的“坏了再修”的被动响应,必须转变为涵盖健康监控、预防维护的全生命周期管理。

结语

GB300 的实施运维,本质上是对数据中心基础设施的一次全面重塑。它要求运维团队具备“系统级诊断、液冷全链路维护、高压电管理”的综合能力。当算力基建从“堆显卡”转向“拼架构”,只有掌握这套全新的运维体系,才能让顶级的 AI 算力真正稳定落地。

数据、图片来源:网络公开信息

This is NVIDIA’s new GPU - Blackwell NVL72 Rack

Liquid Cooling for NVIDIA Blackwell GB200: Advanced Cold Plates for High-Performance AI GPUs

NVIDIA Contributes NVIDIA GB200 NVL72 Designs to Open Compute Project

点赞(3) 打赏

评论列表 共有 0 条评论

暂无评论
立即
投稿

微信公众账号

微信扫一扫加关注

发表
评论
返回
顶部