6.9 谬误与陷阱
WSC 虽然只有 25 年历史，Google 等公司的 WSC 体系结构设计者已经发现许多谬误与陷阱，而且往往付出了代价才获得这些认识。正如引言所说，WSC 体系结构设计者就是今天的 Seymour Cray。
谬误：云计算提供商在亏钱
AWS 刚宣布时，关于云计算的一个常见疑问是：按当时那样低的价格，能否盈利？AWS 后来发展得如此庞大，必须在 Amazon 季度财报中单独列报。令一些人意外的是，AWS 已被证明是公司最赚钱的部分。2021 年，AWS 营收为 620 亿美元，营业利润为 185 亿美元；Amazon 其他全部业务营收为 4070 亿美元，营业利润却只有 65 亿美元。2016 年，AWS 营收为 122 亿美元，营业利润率为 25%，而 Amazon 零售业务的营业利润率低于 3%。AWS 一直贡献着 Amazon 约四分之三的利润。
陷阱：关注平均性能，而不是第 99 百分位性能
正如 Dean 和 Barroso（2013）指出的，WSC 服务开发者更关心分布尾部，而不是均值。如果某些客户获得的性能很差，这种体验可能把他们赶到竞争对手那里，而且再也不会回来。
陷阱：为了提高 WSC 性价比，采用性能过弱的处理器
Amdahl 定律仍然适用于 WSC。每个请求总有一些串行工作；如果它们在慢服务器上执行，请求延迟就可能增加（Hölzle，2010；Lim 等，2008）。如果串行工作使延迟增加，使用弱处理器的成本就必须包括优化代码、使延迟恢复到较低水平所需的软件开发成本。大量慢服务器带来的更多线程，也可能更难调度和均衡负载；线程性能的波动因此会导致更长的延迟。当必须等待最慢任务时，一次糟糕调度出现的概率即使只有千分之一，对 10 个任务可能无关紧要，对 1000 个任务却会成为问题。
十年前，有人预计定制 CPU 会采用比最新乱序核心更简单、但数量更多的核心。这个预期没有实现。云提供商继续部署配备最新乱序核心的最新 x86 芯片。一些提供商使用乱序 Arm 核心构建定制 CPU，在单线程性能上与 x86 乱序核心竞争，AWS Graviton CPU 就是一例。对于迁移到云上的单机负载，乱序核心是显而易见的选择。即使分布式负载拥有充足的请求级并行性，乱序核心也能让开发者无需花费大量精力优化代码，就获得良好的吞吐量和延迟。尽管存在效率问题，改进速度也不快，乱序核心对 WSC 系统仍然十分重要。有趣的是，高端乱序核心如今又普遍出现在智能手机中，与简单核心组成 big-little 配置。
大量较小服务器还可能导致利用率降低，因为需要调度的对象越少，显然越容易安排。最后，即便某些并行算法，在问题划分过细时，效率也会降低。Google 的经验法则是采用服务器级计算机中的低端型号（Barroso 和 Hölzle，2009）。
一个具体例子来自 Reddi 等（2010）：他们比较了运行 Bing 搜索引擎的嵌入式微处理器 Atom 与服务器微处理器 Nehalem Xeon。结果发现，Atom 的查询延迟约为 Xeon 的三倍；Xeon 也更稳健。随着负载增加，Xeon 的服务质量缓慢、小幅下降；Atom 在试图承受额外负载时，很快就无法满足服务质量目标。虽然 Atom 的能效更高，但响应时间会影响收入，收入损失很可能远高于节能带来的成本节省。无法满足响应时间目标的高能效设计，很难获得部署；下一章 7.9 节还会看到这一陷阱的另一个实例。
这种行为会直接转化为搜索质量差异。鉴于延迟对用户的重要性，正如原文所引图 6.37 所示，只要查询延迟尚未超过截止时间，Bing 搜索引擎就会采用多种策略改善搜索结果。较大的 Xeon 节点延迟较低，因此有更多时间改进结果。于是，即使 Atom 几乎没有负载，也有 1% 的查询答案比 Xeon 差；正常负载下，这个比例为 2%。Kanev 等（2015）给出了更新、但结论一致的结果。
译注： 此处原文引用图 6.37，但图 6.37 是 Nitro 虚拟机启动过程。关于服务延迟影响的相邻图表是图 6.36，原书交叉引用疑有误。
陷阱：不同公司的 PUE 测量口径不一致
Google 的 PUE 测量从电力到达变电站之前开始。有些公司从 WSC 入口测量，跳过了降压环节，而这部分损耗可达 6%。如果 WSC 利用室外空气辅助冷却，季节不同，结果也会不同。最后，有些公司报告的是 WSC 设计目标，而不是建成系统的实测值。最保守、也最好的 PUE 测量方法，是从公用电网供电入口开始测量，并报告过去 12 个月的滚动平均值。
谬误：WSC 设施的资本成本高于其中服务器的资本成本
匆匆看一眼图 6.33，或许会得出这个结论，却忽略了整个 WSC 各部分不同的摊销年限。设施可使用长达 20 年，服务器则每三四年就要重新购置。按图 6.33 分别采用 10 年和 3 年摊销期，十年内设施资本支出为 7200 万美元，服务器则为 万美元，即 2.21 亿美元。因此，十年内 WSC 服务器的资本成本约为设施的三倍。原文所引图 3.34 的 TCO 分解也印证了这一点。
译注： 原文此处写“图 3.34”，相应 TCO 分解图实际是本章图 6.34。金额和倍数保留原文口径。
陷阱：试图依靠停止工作的低功耗模式，而不是仍可工作的低功耗模式来节电
图 6.35 表明，通用集群中服务器的平均利用率可能在 10%–50% 之间。考虑到 6.7 节讨论的 WSC 运营成本问题，人们可能认为低功耗模式会大有帮助。
第 1 章指出，DRAM 或磁盘进入不工作的低功耗模式时无法访问，因此无论读写速率多低，都必须先恢复到完全工作模式。问题在于，恢复所需的时间与能量，降低了这类低功耗模式的吸引力。图 6.35 显示，几乎所有服务器的平均利用率都至少为 10%；因此，可以预期长时间的低活动水平，却不能预期长时间完全不活动（Lo 等，2014）。
相比之下，处理器在低功耗模式下仍可运行，只是速率低于正常水平，因此仍可工作的低功耗模式更容易使用。处理器恢复到完全工作模式的时间也以微秒计，因而这类模式还缓解了低功耗模式引起的延迟顾虑。
译注： 原句将运行速率写作“at a small multiple of the regular rate”，未给出具体倍率。“低于正常水平”是根据本段对低功耗模式的讨论作出的语境解释，不能据此确定具体降频比例。
谬误：DRAM 的可信赖性已经提高，WSC 系统软件也能容错，因此不必额外花钱采用 ECC 内存
ECC 为每 64 位 DRAM 增加 8 位，因此取消纠错码（ECC），理论上可以节省九分之一的 DRAM 成本。尤其是曾有 DRAM 测量报告称，每兆位的失效率只有 1000–5000 FIT，FIT 表示每十亿运行小时的失效次数（Tezzaron Semiconductor，2004）。
Schroeder 等（2009）研究了 Google 大多数 WSC 中受 ECC 保护的 DRAM，测量持续 2.5 年，覆盖的服务器无疑有数十万台。研究发现，FIT 比已发表数据高 15–25 倍，即每兆位 25,000–70,000 次失效。超过 8% 的 DIMM 受到失效影响；每个 DIMM 平均每年发生 4000 次可纠正错误和 0.2 次不可纠正错误。按服务器统计，每年约三分之一的服务器经历 DRAM 错误，平均每年发生 22,000 次可纠正错误和 1 次不可纠正错误。原文接着说：也就是说，对三分之一的服务器而言，每 2.5 小时就会纠正一次内存错误。注意，这些系统采用的是更强大的 Chipkill 编码，而不是较简单的 SECDED 编码。如果采用后者，不可纠正错误率将高出 4–10 倍。
如果 WSC 只有奇偶校验保护，服务器每遇到一次内存奇偶校验错误都必须重启。假如重启耗时 5 分钟，那么三分之一的机器将把 20% 的时间花在重启上！这种行为会使这套昂贵设施的性能下降约 6%。此外，这些系统还会遭遇大量不可纠正错误，而操作人员甚至不会收到发生错误的通知。
译注： 原文“平均每年 22,000 次可纠正错误”与“每 2.5 小时一次”不一致。按一年 8760 小时计算，前者对应约每 0.40 小时一次；若每次重启 5 分钟，则约占 21% 的时间，与后文的 20% 接近。
Google 早年使用的 DRAM 甚至没有奇偶校验保护。2000 年，在下一版搜索索引发布前的测试中，系统开始针对测试查询推荐随机文档（Barroso 和 Hölzle，2009）。原因是某些 DRAM 出现固定为零的故障，破坏了新索引。Google 因此增加了一致性检查，以便将来检测这类错误。随着 WSC 规模扩大、ECC DIMM 价格更容易负担，ECC 成为 Google WSC 的标准配置。ECC 还有一个额外好处：维修时更容易找到损坏的 DIMM。
这些数据有助于解释第 4 章的 Fermi GPU 为什么为内存增加 ECC，而其前代产品甚至没有奇偶校验保护。这些 FIT 数据也让人怀疑：仅因 Intel Atom 处理器能效较高，就尝试把它用于 WSC 是否合适，因为其芯片组并不支持 ECC DRAM。
陷阱：无法像处理纳秒或毫秒延迟那样，有效处理微秒延迟
Barroso 等（2017）指出，现代计算机系统让程序员容易缓解纳秒级和毫秒级延迟，例如数十纳秒的缓存与 DRAM 访问，以及数毫秒的磁盘访问，却明显缺少对微秒级事件的支持。存储层次结构向程序员提供同步接口，硬件承担大量工作，使访问表现出正确的存储一致性与缓存一致性（第 2 章）。操作系统为磁盘读取提供类似的同步接口：大量操作系统代码确保等待磁盘时能安全切换到其他进程，数据准备好后再返回原进程。对于 Flash 等存储技术或 200 Gbit/s 以太网等高速网络接口带来的微秒级延迟，我们需要新的应对机制。
谬误：在活动较少时关闭硬件，能提高 WSC 性价比
图 6.33 表明，配电与冷却基础设施的摊销成本，比整个月的电费还高 50%。因此，把负载集中起来、关闭空闲机器，固然能省一些钱；但即使节省一半电力，每月运营费用也只降低 7%。还有实际问题需要解决：WSC 广泛部署的监控基础设施，依赖于向设备发出探测并检查响应。能耗与工作量成比例、以及仍可工作的低功耗模式，还有一个优点：
它们与 WSC 监控基础设施兼容，而这种基础设施使一名操作人员能够负责超过 1000 台服务器。还应注意，预防性维护正是空闲时间执行的重要任务之一。
WSC 的通常做法是在活动较少时运行其他有价值的任务，收回配电与冷却方面的投资。典型例子是为搜索创建索引的 MapReduce 批处理作业。AWS 的竞价机制也是从低利用率中获取价值的一例。如果用户能够灵活选择任务运行时间，允许 AWS 通过竞价实例更灵活地安排任务，例如放在 WSC 原本利用率较低的时段，计算费用最高可降至原来的四分之一。
谬误：Flash 设备只有存储频繁访问的温数据才划算
Flash 的每位成本比硬盘高一个数量级。不过，对某些冷数据存储系统，Flash 也可能具有成本效益。以社交网络发布照片的存储系统为例，多数旧照片很少被访问；但用户一旦请求查看旧照片，仍期待交互式响应。使用硬盘的冷存储系统，为满足 SLO 的延迟要求，就必须让磁盘保持旋转，每块磁盘约消耗 5 W。基于 Flash 的冷存储系统在空闲时效率更高，因为它没有运动部件，而且半导体芯片可以更快退出低功耗模式。节省的能源成本可能抵消 Flash 设备增加的购置成本。
译注： 原句印为“can exist low power modes faster”，其中 exist 与句法和上下文不符；这里按 exit（退出）理解。正文的其他数据保留原样。