6.6 WSC 的配电与冷却

最先进 WSC 的关键负载功率可超过 100 MW，大致相当于美国 75,000 户住宅的用电功率。因此，理解如何向 WSC 供电，以及如何把热量排出设施，十分重要。事实证明，优化供电与冷却系统，并将其与 WSC 软硬件协同设计，是 WSC 尽管规模庞大，却仍具有成本效益的重要因素。

衡量 WSC 供电与冷却基础设施效率，有一个简单却有力的指标，称为电能使用效率（PUE，原文此处展开为 power utilization effectiveness）：

IT 设备功率，是容纳计算、存储与网络设备的机架所消耗的功率。设施总功率还包括供电与冷却开销：供电过程中的电压转换带来损耗，冷却则消耗空调等设备的功率。PUE 大于或等于 1；数值越大，WSC 供电与冷却的效率越低。

Uptime Institute 已连续十五年跟踪大型设施的平均 PUE（Uptime Institute，2022）。2007 年平均 PUE 为 2.5，这意味着每向 IT 设备提供 1 W，供电与冷却还需要额外消耗 1.5 W，其中冷却占这部分开销的三分之二或更多。高开销带来三方面问题。第一，它提高 WSC 运行成本，特别是电费；配电与冷却基础设施还占 WSC 建设成本的大部分。第二，在设施总可用功率一定时，这些开销限制 WSC 的规模和可容纳的 IT 设备数量。第三，浪费能源不利于环境，尤其当发电能源并非可再生能源时，参见下一章 7.8 节。到 2021 年，报告中的平均 PUE 已降至 1.57。最大的 WSC 效率明显更高。图 6.26 显示 Google WSC 的平均 PUE，自 2020 年以来约为 1.10。

来源：Google Data Centers: Efficiency。图内术语：Continuous PUE Improvement＝PUE 持续改善；Average PUE for all data centers＝全部数据中心平均 PUE；Quarterly PUE＝季度 PUE；Trailing twelve-month (TTM) PUE＝过去十二个月 PUE。图中红线末值为 1.10，蓝线末值为 1.09，数据时间范围保持原图。

本节余下部分讨论，供电和冷却如何逐步优化，使额外开销降至 10%。PUE 并非常数：每座 WSC 周围的环境条件全年都在变化，影响冷却系统效率，因此其 PUE 也随之变化。

WSC 的供电

图 6.27 展示一个 WSC 供电基础设施实例，以及从公共电网线路到服务器之间的多次转换。为提供冗余，通常有两个外部电源，通过 115 kV 交流高压线路供电。电网变电站将电压降至 10–50 kV 交流，用于园区内部配电。接着，多个单元变电站将电压降至 400–500 V 交流，并接入某种不间断电源（UPS），确保外部供电中断时，WSC 的一部分仍能运行。UPS 系统通常包含一组柴油发电机，在外部断电后的 10–15 秒内提供电力；还包含某种电气、机械或化学储能，覆盖发电机启动所需的时间。UPS 还会平滑供电，消除尖峰与电压暂降。

来源：James Hamilton 的报告。图内术语与数值：High voltage utility distribution＝高压公共电网配电；Substation＝变电站，效率 99.7%；UPS: Rotary or Battery＝旋转式或电池式 UPS，效率 94%；Transformers＝变压器，两级各为 98% 效率；PDUs＝配电单元；IT load—servers, storage, network＝IT 负载——服务器、存储、网络；开关设备与导体损耗约 1%。图中路线标有 115 kV、13.2 kV、480 V、208 V；2.5 MW 发电机约消耗 180 加仑/小时。图注说明 UPS 与发电机也常接在 480 V 层级，服务器内部另有两级电源转换。总体效率为 $0.997\times0.94\times0.98\times0.98\times0.99\approx89\%$，即配电损耗约 11%。

每个单元变电站向多个配电单元（PDU）供电，由 PDU 降至 IT 硬件接受的 110 V 交流（北美）或 220 V 交流（欧洲）。每个 PDU 可支持 100–200 kW 功耗，包含多个断路器，每个约支持 6 kW，使单台服务器短路的影响范围较小。发电机与 UPS 以 $N+1$ 或 $N+2$ 冗余方式部署，其连接方式保证即使一个发电机或 UPS 因故障或维护离线，全部 PDU 仍能工作。

上述每次电压转换都会引入损耗。UPS 往往是最大问题，效率为 94%–97%，即损耗 3%–6%，因为为了连接电池等储能设备，需要经过交流转直流、再由直流转交流的双重转换。传统设计的总损耗可高达 11%，即效率只有 89%。遗憾的是，IT 设备内部还有更多损耗，PUE 并未计入。典型服务器的电源将 110 V 或 220 V 交流转换为 12 V 直流，再由稳压器降至半导体芯片所需电压，例如 CPU 可能需要 1.1 V 直流。服务器内部总损耗同样可达 10%。因此，有人建议在 PUE 之外，再使用服务器级电能使用效率 sPUE。

限制供电损耗的关键，是减少电压转换次数。一项重要改进，是采用分布式 UPS 功能，省去接在变电站层级的集中式 UPS 所需的双重转换。常见设计是在每个机架中加入电池阵列，作为架内全部设备的本地 UPS。这种安排效率达到 99%，而且增加了容错能力：单个电池失效时，阵列仍可运行。改用直流配电，还可以进一步改善效率。例如，变电站输出 380 V 直流，机架级电源降至 12–48 V，再分配给 IT 设备。机架内部直流配电，也免去了机架级 UPS 电池阵列所需的双重转换。

WSC 的冷却

WSC 设备产生大量热量，通过多层封闭式与开放式冷却回路，最终转移到设施之外。图 6.28 展示完整冷却回路，包括传统的架空地板冷却设计，以及 IT 机房之外所需的换热器、冷却塔等系统。机房空调（CRAC）冷却服务器机房空气。冷空气通过混凝土地板与钢结构支撑的架空地板砖之间的区域分配，再经冷通道中的穿孔地板砖释放。相邻排机架中的服务器朝向相反，使热排风交替朝不同方向吹出，形成冷热通道相间的布局。服务器风扇帮助冷空气流经芯片和散热器，将热量带到热通道。热空气向上升起，流向 CRAC 进风口，在那里利用冷冻水再次冷却，类似冰箱通过向箱外释放热量来制冷。液体吸热时蒸发；反过来，放热时凝结。空调在低压下将液体泵入盘管，使其蒸发吸热，再送往外部冷凝器释放热量。因此，在 CRAC 中，风扇推动热空气流经充满冷水的盘管，水泵再把变热的水送到冷水机组降温。

来源：James Hamilton 的报告。图内术语：Cooling tower＝冷却塔；CWS pump＝冷却水系统水泵；Heat exchanger (Water-side economizer)＝换热器（水侧自然冷却装置）；Primary pump＝一次泵；A/C condenser/compressor/evaporator＝空调冷凝器/压缩机/蒸发器；Computer room air handler＝机房空气处理机；Air impeller＝送风叶轮；Fans＝风扇；Cold/Hot＝冷/热；Leakage＝泄漏；Diluted hot/cold mix＝混合后的冷热空气；Server fans 6 to 9 W each＝每个服务器风扇 6–9 W。图中注明：8 MW 设施的排污与蒸发损失约为每天 200,000 加仑。

这种基于 CRAC 的设计效率很低，是早期数据中心高 PUE（大于 2.5）的主要原因。过去十五年，一系列措施大幅降低了 WSC 冷却开销，使其降至 10%–20%。最简单却重要的方法之一，是让 IT 设备在更高温度下工作，减少空气所需的降温幅度。WSC 将冷通道温度从传统 IT 设施的低于 68°F（20°C），提高到 80°F（27°C）。虽然 IT 设备还能在更高温度下运行，但这可能影响错误发生频率及设备整体寿命。另一项简单优化，是物理隔离冷热通道，避免机架顶部冷热空气混合造成损失。图 6.29 展示 Google WSC 中隔离的热通道。接着，WSC 设计者对气流进行整体优化。传统数据中心中，每台服务器依靠内部风扇，确保有足够冷空气流过发热芯片，维持温度。这些机械风扇是服务器最脆弱的组件之一：例如，风扇的平均失效间隔时间（MTBF）为 150,000 小时，磁盘则为 1,200,000 小时。风扇自身还消耗可观功率，每个 6–9 W。例如，Google 将服务器风扇设计为与机房内数十个巨型风扇协同工作，保证整个机房的气流（图 6.30）。这种分工使小型服务器风扇尽量少耗电，同时仍能在最差功率与环境条件下发挥最大性能。大型风扇以气压作为控制变量，通过调整转速，维持冷热通道间所需的最小压差。

接下来的一组优化，针对空调冷水机组对机械制冷的需求。基本思想是利用 WSC 附近的低温空气或水，获得近乎免费的冷却。空气侧自然冷却（air-economization）使用大型风扇，将室外冷空气送入设施；空气先经过滤以避免污染，热空气则排到建筑之外。水侧自然冷却（water-economization）利用数据中心附近湖泊、河流或海洋中的冷水，以 WSC 空气冷却水回路与外部冷水源之间的换热系统，替代冷水机组（图 6.31）。空气侧与水侧自然冷却可以完全替代机械制冷，或者使冷水机组一年中只在少数炎热天气启用。因此，PUE 可能随时间变化，如图 6.26 所示。

随着时间推移，处理芯片功耗持续增加，最新 CPU 已达 400 W，GPU 达 800 W。装有这类设备的机架难以用空气冷却，促使液冷得到更广泛采用。第 7 章将介绍直接对处理芯片采用闭式液冷回路的 ML 加速器实例。WSC 运营商也在研究将 IT 设备浸没在特殊冷却液中，以改善散热，支持更快运行、更高时钟频率，或每芯片更多并行处理单元（Jalili 等，2021）。