# 6.6 WSC 的配电与冷却
<!-- source: p0541 -->

最先进 WSC 的关键负载功率可超过 100 MW，大致相当于美国 75,000 户住宅的用电功率。因此，理解如何向 WSC 供电，以及如何把热量排出设施，十分重要。事实证明，优化供电与冷却<!-- source: p0542 -->系统，并将其与 WSC 软硬件协同设计，是 WSC 尽管规模庞大，却仍具有成本效益的重要因素。

衡量 WSC 供电与冷却基础设施效率，有一个简单却有力的指标，称为**电能使用效率**（PUE，原文此处展开为 power utilization effectiveness）：

$$
\mathrm{PUE}
=\frac{\text{设施总功率}}{\text{IT 设备功率}}
$$

IT 设备功率，是容纳计算、存储与网络设备的机架所消耗的功率。设施总功率还包括供电与冷却开销：供电过程中的电压转换带来损耗，冷却则消耗空调等设备的功率。PUE 大于或等于 1；数值越大，WSC 供电与冷却的效率越低。

Uptime Institute 已连续十五年跟踪大型设施的平均 PUE（Uptime Institute，2022）。2007 年平均 PUE 为 2.5，这意味着每向 IT 设备提供 1 W，供电与冷却还需要额外消耗 1.5 W，其中冷却占这部分开销的三分之二或更多。高开销带来三方面问题。第一，它提高 WSC 运行成本，特别是电费；配电与冷却基础设施还占 WSC 建设成本的大部分。第二，在设施总可用功率一定时，这些开销限制 WSC 的规模和可容纳的 IT 设备数量。第三，浪费能源不利于环境，尤其当发电能源并非可再生能源时，参见下一章 7.8 节。到 2021 年，报告中的平均 PUE 已降至 1.57。最大的 WSC 效率明显更高。图 6.26 显示 Google WSC 的平均<!-- source: p0543 --> PUE，自 2020 年以来约为 1.10。

![Google 全部数据中心的 PUE 改善趋势](/figures/ch06/fig-6-26.png)
{#fig-6.26 .wide .expand num="6.26" caption="Google 全部 WSC 的 PUE 数据，来源为 Google 数据中心效率页面。"}

来源：[Google Data Centers: Efficiency](https://www.google.com/about/datacenters/efficiency/)。图内术语：Continuous PUE Improvement＝PUE 持续改善；Average PUE for all data centers＝全部数据中心平均 PUE；Quarterly PUE＝季度 PUE；Trailing twelve-month (TTM) PUE＝过去十二个月 PUE。图中红线末值为 1.10，蓝线末值为 1.09，数据时间范围保持原图。

<!-- source: p0543 -->

本节余下部分讨论，供电和冷却如何逐步优化，使额外开销降至 10%。PUE 并非常数：每座 WSC 周围的环境条件全年都在变化，影响冷却系统效率，因此其 PUE 也随之变化。

## WSC 的供电

图 6.27 展示一个 WSC 供电基础设施实例，以及从公共电网线路到服务器之间的多次转换。为提供冗余，通常有两个外部电源，通过 115 kV 交流高压线路供电。电网变电站将电压降至 10–50 kV 交流，用于园区内部配电。接着，多个单元变电站将电压降至 400–500 V 交流，并接入某种**不间断电源**（UPS），确保外部供电中断时，WSC 的一部分仍能运行。UPS 系统通常包含一组柴油发电机，在外部断电后的 10–15 秒内提供电力；还包含某种电气、机械或化学储能，覆盖发电机启动所需的时间。UPS<!-- source: p0544 --> 还会平滑供电，消除尖峰与电压暂降。

![WSC 从公共电网到服务器的供电路径](/figures/ch06/fig-6-27.png)
{#fig-6.27 .wide .expand num="6.27" caption="WSC 的供电，包括备用发电机和 UPS 系统。引自 Hamilton, J., 2010. Cloud computing economies of scale，AWS Workshop on Genomics and Cloud Computing，2010 年 6 月 8 日，Seattle, WA。"}

来源：[James Hamilton 的报告](http://mvdirona.com/jrh/TalksAndPapers/JamesHamilton_GenomicsCloud20100608.pdf)。图内术语与数值：High voltage utility distribution＝高压公共电网配电；Substation＝变电站，效率 99.7%；UPS: Rotary or Battery＝旋转式或电池式 UPS，效率 94%；Transformers＝变压器，两级各为 98% 效率；PDUs＝配电单元；IT load—servers, storage, network＝IT 负载——服务器、存储、网络；开关设备与导体损耗约 1%。图中路线标有 115 kV、13.2 kV、480 V、208 V；2.5 MW 发电机约消耗 180 加仑/小时。图注说明 UPS 与发电机也常接在 480 V 层级，服务器内部另有两级电源转换。总体效率为 \(0.997\times0.94\times0.98\times0.98\times0.99\approx89\%\)，即配电损耗约 11%。

<!-- source: p0544 -->

每个单元变电站向多个**配电单元**（PDU）供电，由 PDU 降至 IT 硬件接受的 110 V 交流（北美）或 220 V 交流（欧洲）。每个 PDU 可支持 100–200 kW 功耗，包含多个断路器，每个约支持 6 kW，使单台服务器短路的影响范围较小。发电机与 UPS 以 \(N+1\) 或 \(N+2\) 冗余方式部署，其连接方式保证即使一个发电机或 UPS 因故障或维护离线，全部 PDU 仍能工作。

上述每次电压转换都会引入损耗。UPS 往往是最大问题，效率为 94%–97%，即损耗 3%–6%，因为为了连接电池等储能设备，需要经过交流转直流、再由直流转交流的双重转换。传统设计的总损耗可高达 11%，即效率只有 89%。遗憾的是，IT 设备内部还有更多损耗，PUE 并未计入。典型服务器的电源将 110 V 或 220 V 交流转换为 12 V 直流，再由稳压器降至半导体芯片所需电压，例如 CPU 可能需要 1.1 V 直流。服务器内部总损耗同样可达 10%。因此，有人建议在 PUE 之外，再使用服务器级电能使用效率 **sPUE**。

限制供电损耗的关键，是减少电压转换次数。一项重要改进，是采用分布式 UPS 功能，省去接在变电站层级的集中式 UPS 所需的双重转换。常见设计是在每个机架中加入电池阵列，作为架内全部设备的本地 UPS。这种安排效率达到 99%，而且增加了容错能力：单个电池失效时，阵列仍可运行。改用直流配电，还可以进一步改善效率。例如，变电站输出 380 V 直流，机架级电源降至 12–48 V，再分配给 IT 设备。机架内部直流配电，也免去了机架级 UPS 电池阵列所需的双重转换。

## WSC 的冷却

WSC 设备产生大量热量，通过多层封闭式与开放式冷却回路，最终转移到设施之外。图 6.28 展示完整冷却回路，包括传统的架空地板冷却设计，以及 IT 机房之外所需的换热器、冷却塔等系统。**机房空调**（CRAC）冷却服务器机房空气。冷空气通过混凝土地板与钢结构支撑的架空地板砖之间的区域分配，再经冷通道中的穿孔地板砖释放。相邻排机架中的服务器朝向相反，使热排风交替朝不同方向吹出，形成冷热通道相间的布局。服务器风扇帮助冷空气<!-- source: p0545 -->流经芯片和散热器，将热量带到热通道。热空气向上升起，流向 CRAC 进风口，在那里利用冷冻水再次冷却，类似冰箱通过向箱外释放热量来制冷。液体吸热时蒸发；反过来，放热时凝结。空调在低压下将液体泵入盘管，使其蒸发吸热，再送往外部冷凝器释放热量。因此，在 CRAC 中，风扇推动热空气流经充满冷水的盘管，水泵再把变热的水送到冷水机组降温。

![WSC 机房、制冷机与冷却塔的冷却回路](/figures/ch06/fig-6-28.png)
{#fig-6.28 .wide .expand num="6.28" caption="WSC 冷却系统的机械设计。引自 Hamilton, J., 2010. Cloud computing economies of scale，AWS Workshop on Genomics and Cloud Computing，2010 年 6 月 8 日，Seattle, WA。"}

来源：[James Hamilton 的报告](http://mvdirona.com/jrh/TalksAndPapers/JamesHamilton_GenomicsCloud20100608.pdf)。图内术语：Cooling tower＝冷却塔；CWS pump＝冷却水系统水泵；Heat exchanger (Water-side economizer)＝换热器（水侧自然冷却装置）；Primary pump＝一次泵；A/C condenser/compressor/evaporator＝空调冷凝器/压缩机/蒸发器；Computer room air handler＝机房空气处理机；Air impeller＝送风叶轮；Fans＝风扇；Cold/Hot＝冷/热；Leakage＝泄漏；Diluted hot/cold mix＝混合后的冷热空气；Server fans 6 to 9 W each＝每个服务器风扇 6–9 W。图中注明：8 MW 设施的排污与蒸发损失约为每天 200,000 加仑。

这种基于 CRAC 的设计效率很低，是早期数据中心高 PUE（大于 2.5）的主要原因。过去十五年，一系列措施大幅降低了 WSC 冷却开销，使其降至 10%–20%。最简单却重要的方法之一，是让 IT 设备在更高温度下工作，减少空气所需的降温幅度。WSC 将冷通道温度从传统 IT 设施的低于 68°F（20°C），提高到 80°F（27°C）。虽然 IT 设备还能在更高温度下运行，但这可能影响错误发生频率及设备整体寿命。另一项简单优化，是物理隔离冷热通道，避免机架顶部冷热空气混合造成损失。图 6.29 展示 Google WSC 中隔离的热通道。接着，WSC<!-- source: p0546 --> 设计者对气流进行整体优化。传统数据中心中，每台服务器依靠内部风扇，确保有足够冷空气流过发热芯片，维持温度。这些机械风扇是服务器最脆弱的组件之一：例如，风扇的平均失效间隔时间（MTBF）为 150,000 小时，磁盘则为 1,200,000 小时。风扇自身还消耗可观功率，每个 6–9 W。例如，Google 将服务器风扇设计为与机房内数十个巨型风扇协同工作，保证整个机房的气流（图 6.30）。这种分工使小型服务器风扇尽量少耗电，同时仍能在最差功率与环境条件下发挥最大性能。大型风扇以气压作为控制变量，通过调整转速，维持冷热通道间所需的最小压差。

![Google 数据中心隔离的热通道](/figures/ch06/fig-6-29.png)
{#fig-6.29 .wide .expand num="6.29" caption="Google 数据中心中的热通道，显然不是为容纳人员而设计的。"}

接下来的一组优化，针对空调冷水机组对机械制冷的需求。基本思想是利用 WSC 附近的低温空气或水，获得近乎免费的冷却。**空气侧自然冷却**（air-economization）使用大型风扇，将室外冷空气送入设施；空气先经过滤以避免污染，热空气则排到建筑之外。**水侧自然冷却**（water-economization）利用数据中心附近湖泊、河流或海洋中的冷水，以 WSC 空气冷却水回路与外部冷水源之间的换热系统，替代冷水机组（图 6.31）。空气侧与水侧自然冷却可以完全替代机械制冷，或者使冷水机组一年中只在少数炎热天气启用。因此，PUE 可能随时间变化，如图 6.26 所示。

<!-- source: p0547 -->

![Google WSC 的大型送风设备](/figures/ch06/fig-6-30.png)
{#fig-6.30 .wide .expand num="6.30" caption="冷空气吹入 Google WSC 中布置成排服务器的机房。热空气经大型通风口进入顶棚，在那里冷却，然后返回这些风扇。"}

![冷却塔排出的蒸汽](/figures/ch06/fig-6-31.png)
{#fig-6.31 .wide .expand num="6.31" caption="冷却塔上升起的蒸汽；冷却塔把用于冷却设备的水所携带的热量，传递到空气中。"}

随着时间推移，处理芯片功耗持续增加，最新 CPU 已达 400 W，GPU 达 800 W。装有这类设备的机架难以用空气冷却，促使液冷得到更广泛采用。第 7 章将介绍直接对处理芯片采用闭式液冷回路的 ML 加速器实例。WSC 运营商也在研究将 IT 设备浸没在特殊冷却液中，以改善<!-- source: p0548 -->散热，支持更快运行、更高时钟频率，或每芯片更多并行处理单元（Jalili 等，2021）。