计算机体系结构量化研究（第 7 版）

Computer Architecture: A Quantitative Approach, Seventh Edition

作者：John L. Hennessy、David A. Patterson、Christos Kozyrakis。

收录正文第 1–7 章及附录 A–K、M。

开始阅读第一章

1. 定量设计与分析基础
2. 存储层次结构设计
3. 指令级并行性及其开发
4. 向量、SIMD 与 GPU 体系结构中的数据级并行性
5. 线程级并行性
6. 面向效用计算的仓库级体系结构
7. 领域专用体系结构

附录：

• A 指令集原理
• B 存储层次结构回顾
• C 流水线：基础与中级概念
• D 存储系统
• E 嵌入式系统
• F 互连网络
• G 深入探讨向量处理器
• H VLIW 与 EPIC 的硬件和软件
• I 大规模多处理器与科学应用
• J 计算机算术
• K 指令集体系结构概览
• M 历史回顾与参考文献

1 定量设计与分析基础

一台 iPod，一部电话，一个移动互联网通信设备……这不是三台彼此独立的设备！我们把它叫作 iPhone！今天，Apple 将重新发明手机。它就在这里。

——Steve Jobs，2007 年 1 月 9 日

新的信息通信技术，尤其是高速互联网，正在改变企业的经营方式、变革公共服务的提供方式，并让更多人能够参与创新。高速互联网连接数每增加 10%，经济增长就会提高 1.3%。

——世界银行，2009 年 7 月 28 日

原章 DOI：10.1016/B978-0-443-15406-5.00001-8。原章版权标记：© 2026 Elsevier Inc.，保留所有权利，包括文本与数据挖掘、AI 训练及类似技术的相关权利。

1.1 引言

自第一台通用电子计算机诞生以来，在大约 75 年的时间里，计算机技术取得了令人难以置信的进步。如今，800 美元就能买到一部手机，其性能足以媲美 2000 年耗资逾 1 亿美元购置的世界最快计算机。这种飞速进步既源于制造计算机的技术不断发展，也源于计算机设计上的创新。

从历史上看，技术进步的步伐一直相当稳定，而计算机体系结构改进带来的进步却远没有那么均匀。在电子计算机问世后的最初 25 年里，这两股力量都作出了重要贡献，使性能每年提高约 25%。20 世纪 70 年代末，微处理器开始出现。微处理器能够充分受益于集成电路技术的发展，使性能的年增长率进一步提高到约 35%。

这一增长速度，加上微处理器批量生产带来的成本优势，使计算机产业中采用微处理器的比例不断上升。此外，计算机市场上的两项重大变化，使新的体系结构比以往更容易取得商业成功。第一，汇编语言编程几乎退出了主流，因而对目标代码兼容性的需求随之降低。第二，UNIX 及其仿制系统 Linux 等标准化、不依赖特定厂商的操作系统出现，降低了推出新体系结构的成本和风险。

这些变化使人们得以在 20 世纪 80 年代初成功开发出一批指令更简单的新体系结构，即精简指令集计算机（Reduced Instruction Set Computer，RISC）体系结构。基于 RISC 的计算机将设计者的注意力引向两项关键的性能技术：一是挖掘指令级并行性（instruction-level parallelism，ILP），最初通过流水线，后来通过多指令发射来实现；二是使用缓存，最初采用简单形式，后来逐步采用更精巧的组成方式与优化技术。

RISC 计算机抬高了性能门槛，迫使既有体系结构要么跟上，要么退出。Digital Equipment 的 Vax 未能跟上，最终被 RISC 体系结构取代。Intel 则迎难而上，主要做法是在内部把 80x86 指令转换为类似 RISC 的指令，从而得以采用许多最早由 RISC 设计开创的创新。到 20 世纪 90 年代末，随着晶体管数量激增，转换较为复杂的 80x86 体系结构所需的硬件开销变得微不足道。而在手机等低端应用中，80x86 指令转换在功耗和硅片面积上带来的额外成本，则推动了 RISC 体系结构 ARM 成为主流。

图 1.1 表明，体系结构与组成方面的改进相结合，使性能连续 17 年保持了超过 50% 的年增长率，这在计算机产业中前所未有。

本图以 VAX-11/780 为基准，绘出了由 SPEC 整数基准测试的 base 配置测得的程序性能（原文指向 1.8 节¹）。20 世纪 80 年代中期以前，处理器性能的增长主要由技术进步驱动，平均每年约 25%，即每 3.5 年翻一番。从 1986 年开始，年增长率提高到约 52%，即每 2 年翻一番。这既得益于 RISC 体系结构所代表的更先进的体系结构与组成思想，也得益于转向使用微处理器作为 CPU 的基本构件。到 2003 年，这种增长使实际性能达到持续按 25% 年增长率发展时所能达到性能的 25 倍。如果假设半导体技术改进本身每年能带来 35% 的增长，那么实际性能仍是这一水平的 7.5 倍。

2003 年，Dennard 缩放规律失效带来的功耗限制，以及可利用的指令级并行性的限制，使单处理器性能的年增长率降至 23%，并一直持续到 2011 年，相当于每 3.5 年翻一番。这些结果仅涉及单芯片系统，通常每片至多 8 个核心，每个核心支持 1 或 2 个硬件线程。自 2007 年起，最快的 SPECintbase 测试成绩都启用了自动并行化，因此更难据此衡量单处理器的速度。2011–2015 年，年增长率不足 12%，即每 6 年翻一番；部分原因在于 Amdahl 定律对并行加速的限制。2015 年以来，随着 Moore 定律放缓，年增长率降至 9%，即每 8 年翻一番。面向浮点运算的性能也呈现出同样的趋势，但在图中的各个阴影区间，年增长率通常要高出 1–2 个百分点。1989–2017 年间，SPEC 先后发布了六个版本，因此跨时期的性能是通过换算系数估算的；这些系数根据同时具有前后两代 SPEC 评分的计算机计算而得。

图内用语：Performance (vs. VAX-11/780) 为“相对于 VAX-11/780 的性能”，year 为“年”，cores 为“核心”，threads/core 为“每核心线程数”，Boost to 为“最高加速频率”。处理器型号与频率保留原文。

20 世纪这种惊人的增长速度带来了四方面影响。首先，它显著提升了计算机用户能够获得的计算能力。对于许多应用，性能最高的微处理器已经超过了不到 20 年前的超级计算机。

其次，性价比的大幅提高催生了新的计算机类别。随着微处理器的普及，个人计算机和工作站在 20 世纪 80 年代出现。过去 15 年又见证了智能手机和平板电脑的兴起，许多人已经用它们代替 PC，作为主要的计算平台。这些移动客户端设备越来越多地通过互联网访问容纳 50,000 台服务器的数据中心，而这些数据中心正被当作一台庞大的计算机来设计。带有无线连接的嵌入式计算机统称为物联网（Internet of Things，IoT）设备，如今每年的出货量已超过 100 亿台，预计还将大幅增长。

第三，Moore 定律所预示的半导体制造工艺进步，使基于微处理器的计算机在整个计算机设计领域占据了主导地位。传统上采用现成逻辑器件或门阵列构建的小型机，被采用微处理器构建的服务器取代。如今，即便是大型机和高性能超级计算机，也都是由微处理器组成的系统。

上述硬件创新带来了一场计算机设计的复兴，既强调体系结构创新，也强调充分利用技术进步。增长不断累积，到 2003 年，高性能微处理器的速度已经是单靠技术进步——包括电路设计的改进——所能达到水平的 7.5 倍；两者的年复合增长率分别为 52% 和 35%。

这场硬件复兴带来的第四项影响落在了软件开发上。自 1978 年以来约 90,000 倍的性能提升（见图 1.1），使现代程序员能够以一部分性能换取开发效率。与 C 和 C++ 这类注重性能的语言相比，如今更多程序采用 Java 这样的托管编程语言编写。此外，开发效率更高的 JavaScript、Python 等脚本语言，以及 AngularJS、Django 等编程框架，也越来越受欢迎。为了保持开发效率，同时尽量缩小性能差距，配备即时编译器和采用基于执行轨迹编译的解释器，正在取代过去传统的编译器与链接器。软件的交付方式也在变化：通过互联网使用的软件即服务（Software as a Service，SaaS），正在取代需要安装并运行在本地计算机上的盒装软件。

应用本身的性质同样在变化。语音、声音、图像和视频日益重要，而可预测的响应时间对用户体验也至关重要。Google Translate 就是一个令人振奋的例子。使用这款应用时，你可以举起手机，把摄像头对准一个物体；图像会通过无线互联网发送到仓库级计算机（warehouse-scale computer，WSC），由后者识别照片中的文字，并将其译成你的母语。你也可以对着它说话，让它用另一种语言输出语音翻译。它支持 133 种语言的文本翻译、37 种语言的照片翻译，以及对话模式下 32 种语言的语音翻译。

遗憾的是，图 1.1 同样表明，通用处理器快速提升的这场历时 17 年的硬件复兴已经结束。根本原因在于，半导体工艺中延续了数十年的两个特征，如今都不再成立。

1974 年，Robert Dennard 注意到，即使随着晶体管尺寸缩小而增加晶体管数量，给定面积硅片上的功率密度仍可保持不变。更令人惊叹的是，晶体管能够在运行得更快的同时消耗更少的功率。这种 Dennard 缩放规律在 2004 年前后失效了，因为电流与电压已经无法在保持集成电路可信赖性的同时继续下降。

这一变化迫使微处理器产业采用多个高效处理器或核心，来代替单个效率较低的处理器。事实上，Intel 在 2004 年取消了高性能单处理器项目，转而与其他厂商一道宣布，今后提升性能的途径是让每个芯片包含多个处理器，而不是一味加快单个处理器。这一里程碑标志着历史性的转变：从单纯依靠本书前三版重点讨论的 ILP，转向第四版着重介绍、第五版进一步扩充的数据级并行性（data-level parallelism，DLP）和线程级并行性（thread-level parallelism，TLP）。第五版还加入了 WSC 和请求级并行性（request-level parallelism，RLP），本版又扩展了这部分内容。编译器与硬件能够相互配合，在程序员不必关注的情况下隐式挖掘 ILP；相比之下，DLP、TLP 和 RLP 都是显式并行，需要重构应用，才能利用这种并行性。有时这很容易，但在许多情况下，它给程序员带来了重大的新负担。

Amdahl 定律（1.10 节）规定了每个芯片上能够有效利用的核心数量的实际上限。如果一项任务有 10% 必须串行执行，那么无论在芯片上放置多少核心，并行带来的最大加速比都只有 10。

最近发生变化的第二项观察是 Moore 定律。1965 年，Gordon Moore 作出了著名的预测：每个芯片上的晶体管数量每年翻一番；1975 年，他将这一周期修正为每 2 年。这个预测成立了约 50 年，如今却不再适用。例如，在本书 2010 年的版本中，Intel 最新的微处理器含有 1,170,000,000 个晶体管。如果 Moore 定律继续成立，那么我们本可预期 2022 年的微处理器含有 105,900,000,000 个晶体管。然而，Apple M2 微处理器只有 20,000,000,000 个晶体管，与 Moore 定律的预测相差约 5 倍。²

以下因素共同作用：

• Moore 定律放缓，Dennard 缩放规律失效，晶体管自身的改进幅度不再显著；
• 微处理器的功耗预算没有增加；
• 单个高功耗处理器被多个节能处理器取代；
• Amdahl 定律限制了多处理器能够带来的加速。

这些因素使处理器性能的提高速度放缓：如今每 8 年才翻一番，不再像 1986–2003 年那样每 1.5 年翻一番（见图 1.1）。³

要显著改善能耗、性能和成本这三者的综合表现，剩下的唯一途径就是专用化。未来的微处理器将包含若干领域专用核心，每种核心只擅长某一类计算，但在这类计算上的表现会远胜于通用核心。第 7 章介绍领域专用体系结构。2023 年 ChatGPT 的发布，极大地加速了专门面向 AI 领域的加速器部署，覆盖了从 IoT 设备到 WSC 的各类系统。

本书关注同步数字计算机，过去 75 年来，正是它们推动了计算机产业的发展。随着改进速度开始放缓，一些研究者正在探索尚未产生显著商业影响的替代方案，例如模拟计算、生物计算、量子计算、神经形态计算以及异步计算。由于这些不同设计何时能够、乃至究竟能否在经济上变得可行，仍不明确，我们的主题依然是同步数字硬件。

本书讨论过去一个世纪里促成惊人增长速度的体系结构思想及相应的编译器改进，也讨论这一局面发生剧变的原因，以及面向 21 世纪的体系结构、编译器和解释器所面临的挑战与初见前景的探索。贯穿全书的核心，是计算机设计与分析的定量方法：以对程序的实证观察、实验和仿真作为工具。本书体现的正是这种计算机设计风格与方法。本章的任务，是为后续章节和附录奠定定量分析的基础。

我们撰写本书，不仅是为了说明这种设计方法，也希望激励你为这一进步作出贡献。我们相信，正如这种方法过去适用于隐式并行的计算机，它也将适用于未来的计算机。

1.2 计算机的类别

上述变化为新世纪的一场重大转变奠定了基础：我们看待计算、计算应用以及计算机市场的方式都在改变。自个人计算机诞生以来，计算机的形态与使用方式还从未发生过如此显著的变化。使用方式的变化形成了五种差异很大的计算市场，每一种都有各自的应用、需求和计算技术。图 1.2 概括了这些主流计算环境及其重要特征。

2021 年的销售量约为：20 亿台 PMD（其中 90% 为手机）、3.57 亿台 PC（其中 80% 为笔记本电脑）以及 1,300 万台服务器。嵌入式处理器的总销量约为 300 亿颗。2021 年，基于 ARM 技术的芯片出货量合计为 230 亿颗。请注意，服务器和嵌入式系统的价格跨度都很大，嵌入式设备可以从 U 盘一直到网络路由器。服务器价格跨度大的原因，是高端事务处理需要超大规模的多处理器系统。

物联网／嵌入式计算机

嵌入式计算机广泛存在于日常设备中：微波炉、洗衣机、大多数打印机、网络交换机，以及所有汽车。物联网（Internet of Things，IoT）指连接到互联网的嵌入式计算机，连接方式通常是无线的。配上传感器和执行器之后，IoT 设备能够收集有用的数据，并与物理世界交互，由此形成各种“智能”应用，例如智能手表、智能恒温器、智能音箱、智能汽车、智能家居、智能电网和智慧城市。

嵌入式计算机的处理能力与成本跨度最大，既包括价格可能低至 1 美分的 8 位至 32 位处理器，也包括用于汽车和网络交换机、价格达到 100 美元的高端 64 位处理器。尽管嵌入式计算市场的计算能力范围极广，价格始终是这一领域计算机设计中的关键因素。当然，性能要求也确实存在，但首要目标往往是以最低价格满足性能需求，而不是以更高价格换取更高性能。对 2025 年 IoT 设备出货量的预测在 300 亿至 400 亿台之间。

本书的大部分内容都适用于嵌入式处理器的设计、使用与性能分析，无论它们是现成的微处理器，还是将与其他专用硬件组合起来的微处理器核心。

遗憾的是，其他类别计算机赖以进行定量设计与评估的数据，向嵌入式计算领域的延伸还处于初期阶段，例如 1.9 节将介绍 EEMBC 所面临的挑战。因此，目前我们在这一领域还只能进行定性描述，这与本书其余部分的风格并不十分契合。为此，嵌入式计算的内容主要集中在附录 E。我们认为，单列附录既能使正文的论述更加连贯，又能让读者了解不同需求如何影响嵌入式计算。

个人移动设备

我们用个人移动设备（personal mobile device，PMD）统称一类带有多媒体用户界面的无线设备，例如智能手机、功能手机、平板电脑、智能手表等。2021 年，PMD 的年收入规模最大，约为 5,000 亿美元。由于整个产品的零售价只有几百美元，成本是首要关注点。重视能效通常是因为设备依靠电池供电；不过，采用更便宜封装的需求——例如用塑料而非陶瓷封装——以及不使用散热风扇，也会限制整机功耗。1.5 节将更详细地讨论能耗与功率。PMD 上的应用通常以 Web 为基础，并以媒体处理为中心，前文提到的 Google Translate 就是一个例子。能耗与尺寸的要求使这些设备采用闪存（Flash memory，见第 2 章），而不是磁盘作为存储介质。

PMD 中的处理器常被视为嵌入式计算机，但我们将 PMD 单列为一类，因为它们是可以运行外部开发软件的平台，并且具有许多桌面计算机的特征。其他嵌入式设备在硬件和软件的复杂程度上都更受限制。我们以能否运行第三方软件，作为非嵌入式计算机与嵌入式计算机之间的分界。

响应能力与可预测性是媒体应用的关键特征。实时性能要求意味着，应用的某个部分具有不可超越的最长执行时间。例如，在 PMD 上播放视频时，每一帧的处理时间是有限的，因为处理器很快就必须接收并处理下一帧。某些应用的要求更为细致：不仅限制某项任务的平均执行时间，也限制超过某个最长时间阈值的次数。这类要求有时称为软实时（soft real-time），允许偶尔错过某个事件的时限，只要错过的次数不要太多。实时性能的要求往往高度依赖具体应用。

许多 PMD 应用的另一些关键需求，是尽量减少存储器容量，以及高效利用能量。电池供电和散热共同推动了能效要求。存储器可能占系统成本的相当大一部分，因此在这类系统中，优化存储器容量十分重要。数据规模由应用本身决定，所以对存储器容量的重视，进一步转化为对代码体积的重视。

桌面计算

2021 年，按销售额衡量，桌面计算市场的规模约为智能手机市场的一半。桌面计算覆盖了从售价不足 300 美元的低端上网本，到售价可能达到 2,500 美元、配置丰富的高端工作站。自 2008 年起，每年生产的桌面类计算机中，一半以上都是使用电池的笔记本电脑。2021 年，笔记本电脑占桌面类计算机销量的四分之三。

在如此广泛的价格与能力范围内，桌面市场通常以优化性价比为目标。性能——主要指计算性能和图形性能——与系统价格的结合，是这一市场的客户最在意的因素，因此也是设计者最在意的因素。正因为如此，最新、性能最高的微处理器，以及经过成本优化的微处理器，往往最先出现在桌面系统中。影响计算机成本的因素将在 1.6 节讨论。

桌面计算的应用类型与基准测试通常也相对明确，不过，以 Web 为中心的交互式应用日益普及，正在给性能评估带来新的挑战。

服务器

20 世纪 80 年代，随着计算转向桌面，服务器的作用不断扩大，为用户提供规模更大、更可靠的文件与计算服务。这类服务器如今已经取代传统大型机，成为大规模企业计算的支柱。

对于服务器，重要的特征有所不同。首先，可用性至关重要，1.7 节将对此展开讨论。想一想为银行自动取款机或航空订票系统提供服务的服务器：这些服务器必须每周 7 天、每天 24 小时运行，这些服务器系统的失效远比一台桌面计算机的失效严重。图 1.3 估算了服务器应用因停机造成的收入损失。

第二个关键特征是可扩展性。随着服务需求增加，或功能要求扩大，服务器系统往往需要随之增长。因此，能够扩展服务器的计算能力、内存、存储容量和 I/O 带宽至关重要。

第三，服务器的成本目标是总拥有成本（total cost of ownership，TCO），而不只是购置价格。TCO 等于购置价格加上计算机整个使用期内的运行成本，后者包括电力、冷却、维护和占地空间的成本。关注 TCO 的原因包括：

• 服务器的使用寿命比桌面计算机长得多，通常为 5–8 年；
• 服务器消耗的电力远多于 PC；
• 服务器处理器的购置价格可能只占 TCO 的四分之一。

最后，服务器设计注重高效的吞吐能力。关键在于服务器的整体性能，例如每分钟处理的事务数，或每秒提供的网页数。单个请求的响应速度依然重要，但对于多数服务器，主要衡量指标是由单位时间处理请求的数量决定的整体效率和成本效益。1.9 节将再次讨论如何评估不同计算环境的性能。

通过分析停机成本，也就是立即损失的收入，可以估算系统不可用带来的损失，数值按最接近的 100,000 美元取整。这里假设三种不同的可用性水平，并假定停机时间均匀分布。数据引自 Landstrom（2014），由 Contingency Planning Research 收集并分析。

集群／仓库级计算机

搜索、社交网络、视频观看与分享、多人游戏、在线购物等应用中 SaaS 的增长，推动了一类称为集群（cluster）的计算机发展。集群通常由价格较低的服务器通过局域网连接而成，对外作为一台更大的计算机工作。每个节点运行自己的操作系统，节点间通过网络协议通信。WSC 是规模最大的集群，其设计目标是让数万台服务器能够协同成为一个整体。第 6 章将介绍这类规模极大的计算机。

由于规模庞大，性价比与功耗对 WSC 至关重要。如第 6 章所述，数据中心的大部分成本与其中计算机的供电和冷却有关。由于计算机和网络设备通常每隔几年就要更换，一座 WSC 的这些设备每年摊销的成本约为 5,000 万美元。当采购如此庞大的计算能力时，必须精打细算：性价比提高 10%，就意味着每座 WSC 每年节省 500 万美元，即 5,000 万美元的 10%。而像 Amazon 这样的公司，可能拥有超过 100 座 WSC！

WSC 与服务器有一个共同点：可用性都至关重要。例如，Amazon.com 在 2023 年的销售额为 5,750 亿美元。一年约有 8,760 小时，因此平均每小时收入约为 6,600 万美元。圣诞购物高峰时段一小时内可能损失的收入，还会高出许多倍。如第 6 章所述，WSC 与服务器的不同之处在于，WSC 采用冗余、廉价的组件作为基本构件，并依靠软件层检测和隔离在这种计算规模下必然大量发生的故障，从而提供应用所需的可用性。还要注意，WSC 的可扩展性由连接各台计算机的局域网来实现，而不像服务器那样由集成的计算机硬件实现。

超级计算机与 WSC 也有相似之处：它们同样昂贵，造价高达数亿美元。不过，超级计算机侧重浮点性能，运行的是通信密集的大型批处理程序，一次可能持续数周。它们通常采用高带宽、低延迟的互连网络。相比之下，WSC 更注重交互式应用、大规模存储、标准局域网、可信赖性以及高互联网带宽。

并行性的类别与并行体系结构

在所有四类计算机¹中，多个层次上的并行性如今都成为计算机设计的驱动力，而能耗与成本是主要约束。应用中基本存在两种并行性：

1. 数据级并行性（DLP）：有许多数据项可以同时处理。
2. 任务级并行性（task-level parallelism，TLP）：工作被组织为可以独立、并且大体上并行执行的任务。²

相应地，计算机硬件可以通过四种主要方式利用应用中的这两种并行性：

1. 指令级并行性（ILP）：在编译器的帮助下，利用流水线等方法挖掘较小规模的 DLP，并利用推测执行等方法挖掘中等规模的 DLP。
2. 向量体系结构、图形处理器（GPU）和多媒体指令集：把一条指令并行地应用于一组数据，从而利用 DLP。
3. 线程级并行性（TLP）：在允许并行线程相互交互的紧耦合硬件模型中，利用 DLP 或任务级并行性。
4. 请求级并行性（RLP）：利用程序员或操作系统所指定的、相互之间基本解耦的任务之间的并行性。

Flynn（1966）研究 20 世纪 60 年代的并行计算工作时，提出了一种简单分类，其缩写至今仍在使用。这些类别针对 DLP 和 TLP。Flynn 考察多处理器中约束最强的部件上，指令流以及指令所需数据流的并行性，将所有计算机分为以下四类：

1. 单指令流、单数据流（single instruction stream, single data stream，SISD）。这一类就是单处理器。程序员把它看作标准的顺序计算机，但它也可以利用 ILP。第 3 章将介绍采用超标量和推测执行等 ILP 技术的 SISD 体系结构。
2. 单指令流、多数据流（single instruction stream, multiple data streams，SIMD）。多个处理器对不同数据流执行同一条指令。SIMD 计算机通过对多个数据项并行执行相同操作来利用 DLP。在早期 SIMD 计算机中，每个处理器都有自己的数据存储器，因此称为“多数据流”；但整个系统只有一个指令存储器和一个控制处理器，由后者取出并分发指令。较新的 SIMD 计算机则从一个共享存储器中一次取出多个数据项。第 4 章将讨论 DLP，以及利用它的三种不同体系结构：向量体系结构、标准指令集的多媒体扩展和 GPU。
3. 多指令流、单数据流（multiple instruction streams, single data stream，MISD）。迄今尚未出现这种类型的成功商用多处理器，但它使这一简单分类完整起来。
4. 多指令流、多数据流（multiple instruction streams, multiple data streams，MIMD）。每个处理器取出自己的指令，并操作自己的数据，主要利用 TLP。总体而言，MIMD 比 SIMD 更灵活，适用范围也更广，但其固有成本高于 SIMD。例如，MIMD 计算机也能利用 DLP，但开销很可能高于 SIMD 计算机。这意味着并行任务的粒度必须足够大，才能高效地利用并行性。第 5 章将讨论紧耦合的 MIMD 体系结构，它们通过让多个相互协作的线程并行运行来利用 TLP。第 6 章将讨论松耦合的 MIMD 体系结构，具体包括集群和仓库级计算机，它们利用 RLP，让许多独立任务自然地并行推进，而基本不需要通信或同步。

这种分类只是一个粗略模型，因为许多并行处理器实际上是 SISD、SIMD 与 MIMD 的混合体。尽管如此，它仍然有助于为本书将要介绍的计算机建立一个设计空间的基本框架。

1.3 计算机体系结构的含义

计算机设计者面临的任务十分复杂：先确定一台新计算机应当重视哪些属性，再设计一台在成本、功耗与可用性约束之内，尽可能提高性能与能效的计算机。这项任务涉及许多方面，包括指令集设计、功能组成、逻辑设计和实现。实现可能涵盖集成电路设计、封装、供电与冷却。要优化设计，就必须熟悉极为广泛的技术，从编译器、操作系统，一直到逻辑设计和封装。

几十年前，“计算机体系结构”通常仅指指令集设计，计算机设计的其他方面则被称为“实现”。这种说法往往暗含一种判断：实现乏味，或者缺乏挑战。我们认为，这种看法是不对的。体系结构设计者或计算机设计者的工作远不止指令集设计，项目其他方面的技术障碍，很可能比指令集设计本身更具挑战性。在介绍计算机体系结构设计者面临的更广泛挑战之前，我们先简要回顾指令集体系结构。

指令集体系结构：对计算机体系结构的狭义理解

本书用指令集体系结构（instruction set architecture，ISA）一词，指程序员实际可见的指令集。ISA 是最重要的计算机接口，因为它界定了软件与硬件之间的边界。下面的简要回顾将以 80x86、ARMv8 和 RISC-V 为例，说明 ISA 的七个维度。最普及的 RISC 处理器来自 ARM（Advanced RISC Machine）。2023 年，出货的 300 亿颗芯片采用了 ARM 处理器，数量超过采用 80x86 处理器的芯片出货量的 100 倍；80x86 通常简称 x86。附录 A 和附录 K 将进一步介绍这三种 ISA。

RISC-V（读作“RISC Five”）是一种现代 RISC 指令集，2010 年诞生于加利福尼亚大学伯克利分校，后来应产业界的请求，免费开放供各方采用。除了完整的软件栈——编译器、操作系统与模拟器——之外，还有多种可以自由获取的 RISC-V 实现，能够用于定制芯片或现场可编程门阵列（FPGA）。RISC-V 的开发比最早的 RISC 指令集晚了 30 年，因此既继承了前辈的优秀思想，例如大量寄存器、易于流水线化的指令和精简的操作集合，又避开了它们的疏漏或失误。它是前文所述 RISC 体系结构中一个自由、开放且设计优雅的例子，这也解释了为什么已有 200 多家公司加入 RISC-V International 基金会，其中包括 Alibaba、AMD、Google、Intel、MIPS、Nokia、NVIDIA、Qualcomm、Samsung、Seagate、Siemens、Sony 和 Western Digital。2024 年，RISC-V 片上系统（见 1.6 节）的出货量达到 20 亿颗，预计到 2031 年将增至每年 300 亿颗。本书以 RISC-V 的整数核心 ISA 作为讲解实例。

ISA 的类别

如今，几乎所有 ISA 都属于通用寄存器体系结构，操作数要么位于寄存器中，要么位于存储器中。x86 有 16 个通用寄存器，以及 16 个可以存放浮点数据的寄存器；RISC-V 则有 32 个通用寄存器和 32 个浮点寄存器（见图 1.4）。这一类 ISA 有两种常见形式：一种是 x86 这样的寄存器—存储器 ISA，许多指令在执行时都可以访问存储器；另一种是 ARMv8 和 RISC-V 这样的 load-store ISA，只能用加载（load）或存储（store）指令访问存储器。自 1985 年以来发布的所有 ISA 都采用 load-store 形式。

除 32 个通用寄存器（x0–x31）外，RISC-V 还有 32 个浮点寄存器（f0–f31），每个可容纳一个 32 位单精度数或一个 64 位双精度数。在过程调用前后必须保持原值的寄存器，标记为由被调用方（Callee）保存。

1. 存储器寻址

几乎所有桌面计算机和服务器，包括 x86、ARMv8 和 RISC-V，都按字节寻址来访问存储器操作数。ARMv8 等体系结构要求对象必须对齐。对于一个大小为 $s$ 字节、字节地址为 $A$ 的对象，若 $A \bmod s = 0$，则访问是对齐的，参见原书 A-8 页的图 A.5。80x86 和 RISC-V 不强制要求对齐，但操作数对齐时，访问通常更快。

2. 寻址方式

寻址方式不仅指定寄存器和常量操作数，也指定存储器中对象的地址。RISC-V 的寻址方式有寄存器寻址、立即数寻址（用于常量）和位移寻址。位移寻址将一个常量偏移量加到寄存器内容上，形成存储器地址。x86 除支持这三种方式外，还支持位移寻址的三种变体：不使用寄存器的绝对寻址、使用两个寄存器的带位移基址加变址寻址，以及使用两个寄存器且将其中一个乘以操作数字节大小的带位移基址加比例变址寻址。去掉位移字段后，它还支持与后三种相对应的形式，即寄存器间接寻址、变址寻址，以及基址加比例变址寻址。ARMv8 除了支持 RISC-V 的三种寻址方式，还支持 PC 相对寻址、两个寄存器之和，以及两个寄存器中一个按操作数字节大小缩放后再求和的方式。它还支持自动递增和自动递减寻址，用计算出的地址替换参与地址计算的某个寄存器的内容。

3. 操作数的类型与大小

与多数 ISA 一样，x86、ARMv8 和 RISC-V 支持的操作数大小包括：8 位（ASCII 字符）、16 位（Unicode 字符或半字）、32 位（整数或字）、64 位（双字或长整数），以及 IEEE 754 的 32 位单精度和 64 位双精度浮点数。x86 还支持 80 位浮点数，即扩展双精度。随着近来 AI 热潮兴起，新一代处理器已经将 16 位半精度乃至更短的浮点格式纳入可选功能，参见第 7 章。

4. 操作

操作大致可分为数据传送、算术与逻辑、控制（下面介绍）以及浮点运算。RISC-V 是一种简单、易于流水线化的 ISA，也是当今 RISC 体系结构的代表。图 1.5 概括了 RISC-V 的整数 ISA，图 1.6 列出其浮点 ISA。x86 的操作集合则丰富和庞大得多，参见附录 K。

RISC-V 包含基本指令集（原图写作 R64I），并提供可选扩展：乘除法（RVM）、单精度浮点（RVF）以及双精度浮点（RVD）。本图包括 RVM，下一图给出 RVF 与 RVD。附录 A 详细介绍 RISC-V。¹

RISC-V 包含基本指令集（原图写作 R64I），并提供单精度浮点（RVF）和双精度浮点（RVD）可选扩展。DP 表示双精度，SP 表示单精度。

5. 控制流指令

几乎所有 ISA，包括这里的三种，都支持条件分支、无条件跳转、过程调用和返回。三者都采用 PC 相对寻址，将地址字段与 PC 相加来确定分支地址。不过，它们之间也有一些细微区别。RISC-V 的条件分支指令（原文写作 BE、BNE 等³）检查寄存器内容，而 x86 和 ARMv8 的分支指令检查算术或逻辑操作在执行时附带设置的条件码位。ARMv8 和 RISC-V 的过程调用将返回地址放入寄存器，而 x86 的调用指令 CALLF 则将返回地址压入存储器中的栈。

ISA 的编码

指令编码有两种基本选择：定长与变长。ARMv8 和 RISC-V 的指令长度均为 32 位，这简化了指令译码。图 1.7 给出了 RISC-V 的指令格式。x86 采用变长编码，长度为 1–18 字节。 变长指令所占空间可以小于定长指令，因此，同一程序编译为 x86 代码时，通常比编译为 RISC-V 代码更小。请注意，前面介绍的各种选择都会影响指令的二进制编码方式。例如，寄存器数量与寻址方式数量都会显著影响指令长度，因为寄存器字段与寻址方式字段可能在一条指令中出现多次。后来，ARMv7 和 RISC-V 分别提供了 Thumb-2 和 RV64IC 扩展，通过混合使用 16 位和 32 位指令来缩小程序体积。ARMv8 仍只使用 32 位指令。这些 RISC 体系结构紧凑版本的代码体积，比 x86 还小，参见附录 K。

所有指令均为 32 位。R 格式用于整数寄存器之间的操作，例如 ADD、SUB 等；I 格式用于加载和立即数操作，例如 LD、ADDI；B 格式用于分支，J 格式用于跳转并链接；S 格式用于存储。为存储指令单独设置一种格式，使三个寄存器字段（rd、rs1、rs2）在各格式中的位置始终保持一致。U 格式用于宽立即数指令 LUI 和 AUIPC。

图内用语：opcode 为操作码，rd 为目的寄存器字段，rs1、rs2 为源寄存器字段，funct3、funct7 为功能字段，imm 为立即数字段；R-type 等分别表示 R 型等指令格式。位号与字段名称按原图保留。

当今指令集之间的差异已经不大，而应用领域却各有特点，因此，计算机体系结构设计者在 ISA 设计之外面临的其他挑战尤其突出。正因如此，从本书第四版开始，除这段简要回顾外，指令集的大部分内容都安排在附录中，参见附录 A 和附录 K。

完整意义上的计算机体系结构：围绕目标与功能需求设计组成和硬件

计算机实现包含两个部分：组成（organization）和硬件（hardware）。组成指计算机设计的较高层次方面，例如存储系统、存储互连，以及内部处理器或 CPU 的设计。CPU 即中央处理单元，负责实现算术、逻辑、分支和数据传送。微体系结构（microarchitecture）一词也常被用来代替“组成”。例如，AMD EPYC 和 Intel Xeon 都实现 x86 指令集，ISA 相同，但采用了不同的组成：它们的流水线与缓存组织差异很大。

随着每个微处理器中开始包含多个处理器，人们也开始用“核心”（core）来称呼处理器。“多核”（multicore）逐渐流行起来，取代了“包含多个处理器的微处理器”这种冗长表述。中央处理单元或 CPU 通常指微处理器中的某一个核心，因为 PMD、PC 和服务器中的微处理器如今几乎都是多核的。

硬件指计算机的具体实现细节，包括详细的逻辑设计和封装技术。一个计算机产品系列中，常常有一些计算机采用相同的 ISA 和非常相似的组成，却在硬件实现细节上有所不同。例如，Intel Core i7（见第 3 章）与 Intel Xeon E7（见第 5 章）几乎相同，但提供了不同的时钟频率与存储系统，使 Xeon E7 更适合服务器。

本书中的“体系结构”涵盖计算机设计的全部三个方面：ISA、组成（或微体系结构），以及硬件。

计算机体系结构设计者必须设计出既满足功能需求，又达到价格、功耗、性能和可用性目标的计算机。图 1.8 概括了设计新计算机时需要考虑的需求。很多时候，设计者还必须先确定功能需求究竟是什么，这本身就是一项重要工作。这些需求可能是市场推动下的具体功能。应用软件通过决定计算机将被如何使用，通常会影响某些功能需求的选择。如果某一种 ISA 已经拥有大量软件，设计者就可能决定让新计算机采用现有指令集。如果某类应用拥有庞大的市场，设计者也可能将有助于计算机在该市场上竞争的要求纳入设计。后续章节将深入考察其中的许多需求与特性。

左栏描述需求类别，右栏给出具体实例，并列出讨论相应问题的章节与附录。

设计者还必须留意技术与计算机使用方式的重要趋势，因为这些趋势不仅影响未来的成本，也影响一种体系结构的生命力。

1.4 技术发展趋势

一种 ISA 要获得长久成功，就必须在设计时考虑如何适应计算机技术的快速变化。毕竟，成功的新 ISA 可能沿用数十年：例如，IBM 大型机的核心体系结构已经使用了 60 年。体系结构设计者必须为技术变化预作规划，以延长成功计算机设计的生命期。

要规划计算机的演进，设计者就必须了解实现技术的迅速变化。以下五类发展迅猛的技术，对现代计算机的实现至关重要：

• 集成电路逻辑技术。 历史上，晶体管密度每年增长约 35%，略多于四年就能增至四倍。裸片面积的增长较慢，也较难预测，年增幅为 10%–20%。两者结合，使芯片上晶体管数量的传统年增长率达到约 40%–55%，即每 18–24 个月翻一番。如前所述，这一趋势称为 Moore 定律。器件速度的提升较慢，我们将在后面讨论。令人震惊的是，Moore 定律正在放缓。每个芯片上的器件数量仍在增加，但增长速度正在下降。与 Moore 定律盛行的年代不同，我们预计，每出现一代新工艺，晶体管数量翻番所需的时间都会进一步延长，见 1.12 节的图 1.24。

• 半导体 DRAM（动态随机存取存储器）。 这项技术是主存的基础，第 2 章将详细讨论。过去，DRAM 容量每三年增至四倍，如今增长速度已大幅下降。8 Gbit DRAM 于 2014 年开始出货，16 Gbit DRAM 却直到 2019 年才出货。下一步是在 2023 年推出 24 Gbit 产品，这是 DRAM 容量首次不再是 2 的幂。再下一目标是 32 Gbit DRAM。这意味着，DRAM 容量从 8 Gbit 增至 32 Gbit、达到原来的四倍，至少需要十年。未来的增长还面临重大挑战（Kim, 2005）。第 2 章提到了几种试图取代 DRAM 的技术，但现在越来越清楚的是，DRAM 不大可能被替代。

• 半导体 Flash（电可擦除可编程只读存储器）。 这种非易失性半导体存储器是个人移动设备（PMD）的标准存储装置；随着应用迅速普及，其容量也在快速增长。在服务器市场，2024 年基于 Flash 的固态硬盘（SSD）已占磁盘销售的一半以上。近年来，单个 Flash 芯片的容量每年增长约 50%–60%，大约每三年翻一番。¹ 目前，Flash 每比特的成本约为 DRAM 的 1/8–1/10。第 2 章将介绍 Flash。未来的容量增长仍将沿第三维度展开：在晶圆加工过程中增加更多层，同时缩小存储单元的尺寸。

• 磁盘技术。 1990 年以前，磁盘存储密度每年提高约 30%，三年翻一番；此后年增幅提高到 60%，并于 1996 年达到 100%。

  2004–2011 年间，年增幅下降到约 40%，即每两年翻一番。过去十年，磁盘的进步速度已放缓至每年不到 5%，翻番需要 15–20 年。增加磁盘容量的一种办法是在面密度不变的情况下增加盘片，但厚度为 1 英寸的 3.5 英寸规格硬盘中，已经装有十张盘片。如今，硬盘每比特的成本约为 Flash 的 1/3–1/5，为 DRAM 的 1/100–1/200。未来可能需要增加封装厚度来容纳更多盘片，这又可能减少单位体积内能够容纳的硬盘数量。这项技术是服务器和仓库级存储的核心；附录 D 将详细讨论其发展趋势。

• 网络技术。 网络性能既取决于交换设备的性能，也取决于传输系统的性能。附录 F 将讨论网络的发展趋势。

这些技术共同塑造了计算机设计。随着速度和技术的改进，一个设计的生命期可能达到 3–7 年。工程师往往面向下一代技术开展设计，因为他们知道，等产品开始大批量出货时，再下一代技术可能已经具有更好的性价比，或者具备性能优势。

技术通常在持续进步，但当它跨越某个门槛、使一种新能力成为可能时，其影响可能表现为离散的跃升。例如，20 世纪 80 年代初，MOS 技术已能在单个芯片上容纳 25,000–50,000 个晶体管，于是单芯片 32 位微处理器成为可能。到 80 年代末，一级缓存可以集成到芯片上；此后的进步又使二级乃至三级缓存得以集成。消除了处理器内部以及处理器与各级缓存之间的跨芯片传输，就可能显著改善性价比和能效。技术发展到一定程度之前，这种设计根本无法实现。这样的技术门槛并不罕见，而且会对各种设计决策产生重大影响。

性能趋势：带宽的进步快于延迟

如 1.8 节将要讨论的，带宽或吞吐量是单位时间内完成的工作总量，例如磁盘传输的 MB/s；延迟或响应时间则是一个事件从开始到完成所需的时间，例如一次磁盘访问的毫秒数。² 图 1.9 绘出了微处理器、内存、网络和磁盘各个技术里程碑相对于起点的带宽与延迟改善倍数。图 1.10 对这些实例与里程碑给出了更详细的说明。

性能是微处理器和网络最主要的差异化因素，因此它们的进步最大：带宽提高了 45,000–80,000 倍，延迟改善了 50–90 倍。对于内存和磁盘，容量通常比性能更重要，因此容量的增长更大；不过，它们 450–4000 倍的带宽提升，仍然远大于 5–9 倍的延迟改善。

图 1.9（续）。 延迟改善了 5–64 倍，带宽则提高了约 450–80,000 倍。自上一版以来的五年中，各项技术的带宽增幅为 14%–100%，延迟却没有改善。事实上，磁盘和微处理器的延迟还增大了。对磁盘来说，2016 年那款容量为 0.6 TB、转速为 15,000 RPM 的硬盘仍然可以买到，不过我们认为，选用容量为 20 TB、转速为 7200 RPM 的硬盘更有意义，尽管它的延迟更长。2021 年 SPEC2017 性能最高的微处理器，标准时钟频率只有 2.8 GHz，低于 2016 年微处理器的 4.0 GHz，但其 Turbo 频率为 5.1 GHz，高于后者的 4.2 GHz。较低的标准时钟频率意味着更长的延迟。还应注意，图中采用的网络标准预计要到 2026 年才能完成，因此网络部分的结果略显乐观。根据 Patterson, D., 2004. “Latency lags bandwidth.” Commun. ACM 47 (10), 71–75 更新。

图内术语：Relative Bandwidth Improvement＝相对带宽改善倍数；Relative Latency Improvement＝相对延迟改善倍数；Microprocessor＝微处理器；Memory＝内存；Network＝网络；Disk＝磁盘。灰色对角线表示“延迟改善倍数＝带宽改善倍数”。

图 1.10（续）。 微处理器的里程碑覆盖了数代 IA-32 处理器：从采用 16 位总线、微码实现的 80286，发展到采用 64 位总线、多核、乱序执行、超流水线以及三级片上缓存的 Xeon。内存模块从 16 位宽的普通 DRAM，发展到 64 位宽的第五代双倍数据率同步 DRAM。以太网从 10 Mbit/s，发展到约 2026 年的 800 Gbit/s。磁盘的里程碑以转速为依据：到 2016 年，转速从 3600 RPM 提高到 15,000 RPM，2021 年又回到 7200 RPM。各例中的带宽均为最佳情况带宽，延迟则是假定不存在争用时执行一次简单操作所需的时间。根据 Patterson, D., 2004. “Latency lags bandwidth.” Commun. ACM 47 (10), 71–75 更新。

图中的四组数据如下。原表的空白单元格仍留空；“—”对应原表的双连字符。

图 1.10：微处理器

图 1.10：内存模块

Page Mode DRAM 为页模式 DRAM，Fast Page Mode DRAM 为快速页模式 DRAM。

图 1.10：局域网

Ethernet＝以太网；Fast Ethernet＝快速以太网；Gigabit Ethernet＝千兆以太网，其余名称分别表示 10、100、400 和 800 Gbit/s 以太网。

图 1.10：硬盘

译注（图 1.10）： 原表中三列总线宽度均印为 196 bit，800 Gbit/s 以太网年份印为“2024?”，而图注与图 1.9 说明写“约 2026 年”；此处照录，没有自行统一。正文中的改善倍数与图注也不完全一致。

显然，在这些技术领域中，带宽的进步一直快于延迟，而且这种趋势很可能继续。计算机设计者应据此作出规划。

晶体管性能与连线的缩放

集成电路工艺通常以特征尺寸来描述，即晶体管或连线在 x 或 y 方向上的最小尺寸。特征尺寸从 1971 年的 10 μm，缩小到了 2022 年的 0.007 μm。事实上，我们已经换用了新的单位，因此 2022 年的量产工艺称为“7 nm”，而 3 nm 芯片也正在推进。Intel 宣布了 1.8 nm 芯片的计划，并将其重新命名为 18 Å（埃），为进一步缩小几何尺寸作铺垫。

每平方毫米硅片上能够容纳的晶体管数量，取决于一个晶体管的表面积。因此，随着特征尺寸线性缩小，晶体管密度按平方关系增加。

晶体管性能的提升却更复杂。特征尺寸缩小时，器件在水平方向的面积按平方关系缩小，在垂直方向上也会缩小。垂直尺寸的缩小要求降低工作电压，以保证晶体管正常工作并维持可靠性。这些缩放因素共同作用，使晶体管性能与工艺特征尺寸之间形成复杂关系。过去，作为一阶近似，可以认为晶体管性能会随特征尺寸的缩小而线性提高。

晶体管数量按平方关系增加，性能却只线性提高：这既是计算机体系结构设计者面临的挑战，也是他们施展才华的机会！在微处理器发展的早期，密度更快增长所带来的空间，被用于迅速从 4 位扩展到 8 位、16 位、32 位和 64 位。近些年来，密度提升则使一个芯片内集成多个处理器、更宽的 SIMD 单元，以及第 2–5 章介绍的推测执行与缓存创新成为可能。

晶体管的性能通常会随特征尺寸缩小而改善，集成电路中的连线却并非如此。具体而言，连线的信号延迟与其电阻和电容的乘积成正比。特征尺寸缩小时，连线当然会变短，但单位长度的电阻和电容特性会变差。这里的关系很复杂，因为电阻和电容都取决于工艺细节、连线的几何形状、连线负载，甚至与其他结构的相邻关系。工艺偶尔也会取得改进，例如引入铜互连，从而使连线延迟获得一次性改善。

不过，总体而言，相比晶体管性能，连线延迟随工艺缩放而改善的程度很有限，给设计者带来了额外挑战。除了功耗限制之外，连线延迟已经成为大规模集成电路的主要设计障碍，而且往往比晶体管的开关延迟更关键。信号在线路上传播的延迟占据了越来越大的时钟周期份额；但如今，功耗的影响甚至超过了连线延迟。

1.5 集成电路的功耗与能耗趋势

今天，对几乎所有类别的计算机而言，能耗都是设计者面临的最大挑战。首先，电力必须送入芯片并分配到各处；现代微处理器仅电源和接地就要占用数百个引脚和多层互连。其次，消耗的电能会转化为热量，必须将这些热量导出。

从系统角度看功率与能耗

系统体系结构设计者或用户，应如何看待性能、功率和能耗？从系统设计者的角度来看，主要有三个问题需要考虑。

第一，处理器可能需要的最大功率是多少？满足这一需求，可能是确保处理器正确运行的重要条件。例如，如果处理器试图从供电系统汲取超过其供给能力的功率，即所需电流超过系统能够提供的电流，通常就会引起电压下降，进而导致器件工作异常。现代处理器的功耗变化范围很大，峰值电流也很高；因此，它们提供了 voltage indexing 方法，使处理器能够降低运行速度，并在更大的余量内调节电压。显然，这会降低性能。

第二，处理器的持续功耗是多少？这一指标通常称为热设计功耗（thermal design power，TDP），因为它决定了散热要求。TDP 既不是峰值功耗——峰值往往可达到它的 1.5 倍——也不是某次计算实际消耗的平均功率；后者很可能更低。系统的电源通常按超过 TDP 的容量配置，散热系统的设计能力一般应达到或超过 TDP。如果散热不足，处理器的结温可能超过上限，导致器件失效，甚至造成永久性损坏。由于最高功耗以及由此产生的热量和温升，可能超过 TDP 所规定的长期平均水平，现代处理器提供了两种辅助热管理机制。首先，当温度接近结温上限时，电路会降低时钟频率，以降低功耗；如果这一措施无效，第二级热过载保护就会触发，关闭芯片电源。

设计者和用户应考虑的第三个因素是能耗与能效。回想一下，功率就是单位时间内的能量：1 W＝每秒 1 J。比较处理器时，应当采用能耗还是功率？一般来说，能耗始终是更合适的指标，因为它与某项具体任务以及完成任务所需的时间相关。具体而言，完成一项工作负载的能耗，等于平均功率乘以该工作负载的执行时间。

因此，要判断两个处理器中哪一个完成某项任务的效率更高，就需要比较执行该任务的能耗，而不是功率。例如，处理器 A 的平均功耗可能比处理器 B 高 20%，但如果 A 只需 B 所用时间的 70% 就能完成任务，它的能耗便是 B 的 $1.2\times0.7=0.84$，显然更好。

有人可能认为，在大型服务器或云环境中，工作负载通常可以假定为无穷无尽，所以只考虑平均功率就足够了；这种看法会产生误导。如果云中的处理器全是 B 而不是 A，那么在消耗相同能量的情况下，它完成的工作会更少。用能耗比较不同方案，就能避免这一陷阱。只要工作负载固定，无论是仓库规模的云，还是一部智能手机，比较能耗都是比较计算机方案的正确方法。

这是因为，云的电费和智能手机的续航时间，都由消耗的能量决定。

那么，功耗何时是有用的度量？它最主要的合理用途是作为约束：例如，一颗采用风冷的芯片可能被限制在 300 W 以内。在工作负载固定时，功耗也可以作为指标，但这不过是“每项任务的能耗”这一真正指标的另一种表现形式。

微处理器内部的能耗与功耗

对于 CMOS 芯片，传统上最主要的能量消耗来自晶体管开关，也称为动态能耗（dynamic energy）。每个晶体管所需的能量，与它所驱动的电容负载以及电压平方的乘积成正比：

这里，Energy 为能量，Capacitive load 为电容负载，Voltage 为电压。上式表示一次 $0\to1\to0$ 或 $1\to0\to1$ 逻辑转换脉冲的能量。一次单独转换，即 $0\to1$ 或 $1\to0$，其能量为：

每个晶体管所需的功率，就是单次转换能量与转换频率的乘积。原书此处列出的公式为：

译注： 原页确实将上式印成了能量关系，并未出现前一句所说的“功率”与“转换频率”。由功率＝单次转换能量×每秒转换次数，可直接得到相应关系 $P_{\mathrm{dynamic}}\propto CV^2f_{\mathrm{switch}}$。上式不是完整的动态功率公式。前两式使用的是比例符号，未写出完整脉冲与单次转换之间的常数因子。

对于固定任务，降低时钟频率可以降低功率，但不能降低能耗。

显然，降低电压能够大幅降低动态功耗和能耗，因此，二十年间电压从 5 V 降到了略低于 1 V。电容负载取决于输出端连接的晶体管数量，以及所用工艺；工艺决定了连线和晶体管的电容。

例：降低电压与频率

问题。 当今一些微处理器采用可调电压设计，电压降低 15% 时，频率也可能降低 15%。这对动态能耗和动态功耗会有什么影响？

解答。 电容保持不变，因此，能耗的变化由电压平方之比决定：

也就是动态能耗降至原来的约 72%。计算功率时，还要乘上转换频率之比：

因此，动态功耗降至原来的约 61%。

工艺从一代演进到下一代时，参与开关的晶体管数量和开关频率的增加，超过了负载电容与电压降低所带来的收益，导致总体功耗和能耗上升。最早的微处理器功耗不到 1 W，最早的 32 位微处理器，例如 Intel 80386，功耗约为 2 W，而一颗 2.4 GHz 的 Intel Xeon Platinum 8380 消耗 270 W。这些热量必须从边长约 2.5 cm 的芯片上散出，因此我们已经接近风冷所能达到的极限，并且在这个位置停留了将近十年。Intel 和 NVIDIA 最近公布的芯片中，有些 TDP 接近 1000 W，需要液冷。

根据前面的公式，如果不能降低电压，也不能增加每颗芯片的功率，那么时钟频率的增长理应放缓。图 1.11 表明，自 2003 年以来，事实正是如此；即使是图 1.1 中每年性能最高的微处理器，也不例外。注意，时钟频率趋平的这一时期，正好对应图 1.1 中性能提升较慢的阶段。

配电、散热和防止局部热点，已经成为日益艰巨的挑战。如今，限制晶体管使用的主要因素是能耗；过去则是硅片面积。因此，尽管时钟频率停滞、供电电压不再下降，现代微处理器仍采用多种技术来努力提高能效：

1. 把“无事可做”这件事做好。 现在，大多数微处理器都会关闭非活动模块的时钟，以节省能量、降低动态功耗。例如，没有浮点指令执行时，就关闭浮点单元的时钟；某些核心空闲时，就停止这些核心的时钟。

2. 动态电压频率调节（DVFS）。 第二种技术直接来自前面的公式。PMD、笔记本电脑，甚至服务器，都有活动较少的时段，不必始终运行在最高时钟频率和电压下。现代微处理器通常提供几个可选的时钟频率和电压工作点，以降低功率和能耗。图 1.12 绘出了工作负载下降时，服务器在 2.4、1.8 和 1 GHz 三种时钟频率下通过 DVFS 所能获得的功耗节省。每降低一级，整个服务器的功耗约可节省 10%–15%。

3. 面向常见情况设计。 PMD 和笔记本电脑经常处于空闲状态，因此，内存和存储设备提供低功耗模式来节省能量。例如，DRAM 提供一系列功耗逐级降低的模式，以延长 PMD 和笔记本电脑的电池续航；磁盘方面也曾有人提出，让磁盘在不使用时进入降低转速的模式，以节省功耗。

   然而，处于这些模式时，DRAM 和磁盘都无法被访问；不论访问频率多低，要读写都必须先恢复到完全活动状态。如前所述，PC 微处理器则是按高工作温度下的重负载使用来设计的，并依赖片上温度传感器判断何时应自动减少活动，以防过热。这种“紧急降速”机制，使制造商能够按更常见的情况进行设计；如果用户确实运行了远比通常情况耗电的程序，再由这一安全机制提供保护。

4. 超频。 Intel 从 2008 年开始提供 Turbo 模式：芯片判断短时间内以更高时钟频率运行是安全的，就提高频率，可能只加速少数几个核心，直到温度开始上升。例如，2.8 GHz 的 Xeon E-2378G 可以短时间运行在 5.1 GHz，见图 1.11。

   事实上，图 1.1 中自 2008 年起每年性能最高的微处理器，都提供临时超频功能。到 2016 年为止，超频频率通常比标称值高约 10%；此后，Turbo 频率则高出 30%–80%。对于单线程代码，这些微处理器可以只保留一个核心工作、关闭其他核心，并让该核心运行得更快。注意，虽然操作系统能够关闭 Turbo 模式，但开启后，并不会在实际进入加速状态时通知程序员；因此，他们可能惊讶地发现，程序性能竟会随室温而变化！

5. 异构核心。 手机早已同时采用速度快、功耗高的核心，以及速度较慢、能效更高的核心。例如，Apple iPhone 14 Pro 智能手机的芯片有两个高性能核心和四个高能效核心。目标是在维持用户所期望响应能力的前提下，用能效最高的处理器运行应用，以节省能量。智能手机甚至还配备了面向狭窄领域的专用处理器，以进一步提高这些任务的能效。

图 1.11（续）。 1978–1986 年，时钟频率每年提高不到 15%，性能则每年提高 22%。在 1986–2003 年这个性能年增 52% 的“复兴时期”，时钟频率以每年近 40% 的速度猛增。此后，时钟频率几乎停滞。自 2008 年起，Intel 提供 Turbo 模式，使芯片能够暂时以更高频率运行，直到温度过高。即便是 Turbo 频率，2011–2022 年的年增幅也只有约 2%。

图内术语：Clock rate＝时钟频率；year＝年；turbo＝Turbo 模式。图中的产品名称保留英文，年份与 MHz 数值均为原书数据。

图 1.12（续）。 在 1.8 GHz 下，服务器最多只能处理约三分之二的工作负载，才能不违反服务水平要求；在 1 GHz 下，则只能安全地处理三分之一。引自 Barroso、Hölzle 和 Ranganathan（2019）的图 5.11。

图内术语：Power (% of peak)＝功耗占峰值的百分比；Compute load (%)＝计算负载百分比；Idle＝空闲；DVS savings (%)＝动态电压调节带来的节省百分比。

虽然传统上认为动态功耗是 CMOS 功耗的主要来源，静态功耗如今也成为一个重要问题，因为即使晶体管处于关闭状态，仍会有漏电流流过。原书此处列出的公式为：

译注： 原页在静态功耗段落中再次印出了动态能量公式。根据电功率定义，这里应讨论 $P_{\mathrm{static}}=I_{\mathrm{leakage}}V$，其中 $I_{\mathrm{leakage}}$ 为漏电流。上面的原式仅为忠实呈现源文，不能用来计算静态功耗。

也就是说，静态功耗与器件数量成正比。

因此，即使晶体管闲置，增加晶体管数量也会增加功耗；晶体管尺寸更小的处理器，漏电流还会增大。于是，超低功耗系统甚至会切断非活动模块的供电，即采用电源门控（power gating），以控制漏电造成的损耗。

2011 年，设计目标是将漏电功耗控制在总功耗的 25%；高性能设计的漏电功耗有时远高于这一目标，可达到总功耗的 50%。部分原因是它们拥有大型 SRAM 缓存，而 SRAM 必须持续供电，才能保持所存储的值——SRAM 中的 S 就是 static。要阻止漏电，唯一的办法是关闭芯片部分区域的电源。

最后，处理器仅占整个系统能耗的一部分。因此，采用速度更快、处理器自身能效较低的方案，使系统其余部分更早进入休眠状态，有时反而是合理的。这一策略称为 race-to-halt。

功率和能耗的重要性，促使人们更严格地审视创新方案的效率。如今，主要评价指标是每焦耳完成的任务数，或每瓦性能；过去则关注每平方毫米硅片所提供的性能。这种新指标会影响利用并行性的方式，第 4 章和第 5 章将进一步说明。

能耗限制带来的计算机体系结构转变

随着晶体管技术的进步放缓，体系结构设计者必须从其他方面寻找提高能效的办法。事实上，在给定的能耗预算下，如今很容易设计出这样一种微处理器：它包含的晶体管太多，无法全部同时开启。这种现象称为 dark silicon（暗硅），因为在热约束下，芯片中很大一部分在任何时刻都不能被使用，只能保持“黑暗”。这一认识促使设计者重新审视处理器设计的基本原则，以寻求更高的单位能耗性能。

图 1.13 列出了现代计算机基本构件的能耗，其中一些比值大得令人惊讶。例如，一次 32 位浮点加法消耗的能量，是一次 8 位整数加法的 50 倍。

图内术语：Operation＝操作；Energy (pJ)＝能量（pJ）；Relative Energy＝相对能耗。右图编号与下表第一列一一对应，以 8 位整数加法为基准。

不过，最大的差异来自内存：一次 32 位 DRAM 访问的能耗，几乎是一次 8 位加法的 200,000 倍。小型 SRAM 的能效是 DRAM 的 175 倍，这表明，谨慎使用缓存和内存缓冲区至关重要。

“尽量降低每项任务的能耗”这一新设计原则，结合图 1.13 所示的相对能耗，启发了计算机体系结构的一条新方向，第 7 章将加以介绍。领域专用处理器通过减少宽位浮点运算，并配置专用存储器以减少 DRAM 访问，来节省能量；再把节省下来的能量用于支持比传统处理器多 10–1000 个、位宽较窄的算术单元。尽管这种处理器只能完成有限的一组任务，但在这些任务上，它们的速度和能效都远高于通用处理器。

正如医院既有全科医生，也有专科医生一样，在这个重视能耗的世界里，计算机已经成为两类核心的组合：一类是可以承担任何任务的通用核心，另一类是能把少数几件事做得极好、而且效率更高的专用核心。

计算机能耗对全球气候变化的影响

全球气候变化是当今社会面临的一项巨大挑战。计算的快速增长，也理所当然地引发了人们对其碳足迹的担忧。

排放可以分为：

• 运行排放（operational）：来自硬件运行所消耗的能量；对服务器而言，也包括数据中心的额外开销。
• 隐含排放（embodied）：还计入相关各个组成部分在制造过程中产生的碳排放，从芯片制造一直到数据中心建筑施工。

隐含排放成本更难计算，因为必须逐层追溯至最初的制造来源，核算各阶段排放，再把中间各环节直至最终产品的排放累加起来。

运行能耗为：

对数据中心而言，还有一个反映能量送达内部计算机时效率的因素，称为电能使用效率（Power Usage Effectiveness，PUE），第 6 章将加以介绍。

能耗以千瓦时（kWh）计量，排放以千克二氧化碳当量（CO₂e）计量；CO₂e 也把甲烷等温室气体计算在内。排放量的计算公式为：

能耗相对容易计算，但最后一项很难确定：根据主要能源来源的不同，各地之间可能相差 5–10 倍（Patterson et al., 2022）。煤炭是最不清洁的能源，天然气较清洁，但仍含碳；太阳能、风能、核能和水电则是无碳能源的例子。以 Google 的能源来源为例，2020 年，其新加坡数据中心所用能源中只有 4% 是无碳能源，而芬兰数据中心的比例达到 94%。即使在同一国家，差异也可能很大：在美国，内华达州数据中心的这一比例为 19%，爱荷华州则达到 93%。Google 之所以能够达到如此高的比例，是通过签约采购可再生能源，降低本地电网供电所对应的碳排放。以爱荷华州为例，那里昼夜都有充足的风能。

计算机体系结构设计者可以通过提高所设计计算机的运行能效，并学习如何降低其制造过程中的隐含碳足迹，帮助减少信息技术的碳足迹。

1.6 成本趋势

虽然某些计算机设计，特别是超级计算机，对成本的重视程度相对较低，但成本敏感型设计的重要性却在不断上升。事实上，过去四十年，利用技术进步降低成本、同时提高性能，一直是计算机产业的一条主线。

教科书常常忽略“性价比”中的成本这一半：一方面，成本不断变化，会使书中的内容过时；另一方面，成本问题相当复杂，而且各个细分市场的情况不同。然而，要在成本敏感的设计中明智地决定是否加入某项新功能，体系结构设计者就必须理解成本及其影响因素。试想一下，建筑师如果对钢梁和混凝土的价格一无所知，要怎样设计摩天大楼？

本节讨论影响计算机成本的主要因素，以及这些因素如何随时间变化。

时间、产量与商品化的影响

即使基本实现技术没有显著进步，制造出来的计算机部件，其成本也会随时间降低。推动这一变化的基本原理是学习曲线（learning curve）：制造成本会随时间下降。衡量学习曲线的最佳方式，是观察**良率（yield）**的变化。

良率指制成器件中通过测试的比例。无论是芯片、电路板还是系统，良率翻一番，成本就能减半。

要预测产品整个生命期内的成本，就必须理解学习曲线如何提高良率。一个例子是，长期以来，DRAM 每 GB 的价格一直在下降。除了供不应求或供过于求的时期，DRAM 的定价通常与成本密切相关，因此两者走势基本一致。

微处理器的价格也会随时间下降，但它们不像 DRAM 那么标准化，所以价格与成本的关系更复杂。竞争激烈时，价格往往紧随成本变化，不过微处理器厂商大概很少会亏本销售。

产量是决定成本的第二个关键因素。增加产量会从几个方面影响成本。首先，它缩短了走过学习曲线所需的时间，而这一过程在一定程度上与制造的系统或芯片数量有关。其次，提高产量能够提升采购和制造效率，从而降低成本。作为经验法则，一些设计者估计，产量每翻一番，成本就会降低约 10%。此外，产量增加还减少了每台计算机需要分摊的开发费用，使成本与售价能够更加接近，同时仍有利润可赚。

**标准化商品（commodities）**是由多家厂商大量销售、彼此基本相同的产品。食品杂货店货架上的产品几乎都属于这一类，标准 DRAM、Flash、显示器和键盘也是如此。过去四十年，个人计算机产业中的很大一部分已经成为标准化商品业务，专注于制造通常运行 Microsoft Windows 的台式机和笔记本电脑。

由于许多厂商销售的产品几乎完全相同，这类市场的竞争非常激烈。竞争当然会压缩成本与售价之间的差距，但它也会降低成本。原因在于，标准化商品市场既有足够的规模，也有清晰的产品定义，使多家供应商能够竞争生产同一类产品所需的部件。部件供应商之间的竞争，加上它们能够实现的规模效益，共同降低了整体产品成本。这种竞争使计算机产业的低端市场能够提供优于其他细分市场的价格性能比，也推动了低端市场更快增长，只是利润极为有限——这与其他标准化商品行业一样。

集成电路的成本

一本计算机体系结构书，为什么要专门讨论集成电路成本？在竞争日趋激烈的计算机市场中，磁盘、Flash、DRAM 等标准部件在任何系统成本中都占据了相当比例；而在不同计算机之间存在差异的那部分成本里，集成电路所占的比重正在上升，尤其是在产量大、对成本敏感的细分市场。

事实上，由于 PMD 依赖片上系统（system on a chip，SoC），集成电路成本占据了 PMD 成本的很大一部分。因此，要理解当今计算机的成本，设计者就必须理解芯片的成本。

虽然集成电路成本已经呈指数级下降，但硅器件制造的基本过程没有改变：晶圆（wafer）仍然需要测试、切割成裸片（die），再进行封装，见图 1.14–1.16。因此，封装后集成电路的成本为：

本节重点讨论裸片成本，在末尾简要总结测试与封装方面的关键问题。

要预测每片晶圆能够得到多少颗合格芯片，首先要知道一片晶圆能容纳多少颗裸片，然后再预测其中能够正常工作的比例。这样就很容易估算成本：

这个芯片成本公式的第一项，最值得关注的特点是它对裸片尺寸十分敏感，下面就来说明。

每片晶圆的裸片数，大致等于晶圆面积除以裸片面积。更准确的估计为：

第一项是晶圆面积 $\pi r^2$ 与裸片面积之比。第二项修正了“方块装进圆盘”的问题，也就是圆形晶圆边缘的矩形裸片无法完整容纳的情况。用晶圆周长 $\pi d$ 除以正方形裸片的对角线长度，就近似得到沿边缘分布的裸片数量。

例：每片晶圆的裸片数

问题。 对于直径为 300 mm（30 cm）的晶圆，分别求边长为 1.5 cm 和 1.0 cm 的裸片，每片晶圆可以容纳多少颗。

解答。 当裸片面积为 2.25 cm² 时：

大裸片的面积是小裸片的 2.25 倍，因此每片晶圆能容纳的小裸片数大约也是大裸片数的 2.25 倍，实际比值为 $640/270=2.37$：

然而，上式给出的只是每片晶圆能够容纳的最大裸片数。关键问题是：其中合格裸片的比例，也就是裸片良率，是多少？一个简单的集成电路良率模型，假定缺陷在晶圆上随机分布，且良率与制造工艺的复杂程度成反比，可得到：

这个 Bose–Einstein 公式是根据多条生产线的良率建立的经验模型（Sydow, 2006），至今仍然适用。晶圆良率反映整片晶圆报废的情况；这种晶圆上的各个裸片都不必再测试。为简化讨论，我们假定晶圆良率为 100%。单位面积缺陷数用来衡量随机制造缺陷。

2022 年，7 nm 和 5 nm 工艺的典型数值都是每平方英寸 0.075 个缺陷，换算为公制约为每平方厘米 0.012 个缺陷。最后，参数 $N$ 称为工艺复杂度因子，用于衡量制造难度。2022 年的 7 nm 工艺中，$N=33$；5 nm 工艺中，$N=35$。

图 1.15（续）。 UPI（Ultra Path Interconnect）是 Intel 在处理器插槽之间使用的点对点互连。PCIe（Peripheral Component Interconnect Express）是连接 GPU、网络接口和存储设备的标准高速串行扩展总线。Memory 区域是 DDR5 DRAM 的内存控制器。Accelerators 区域包含对 Advance Matrix Extension（AMX）和 Advance Vector Extension（AVX）的硬件支持，还包含用于加速密码运算及数据压缩/解压缩的引擎 QuickAssist Technology，以及名副其实的 Data Streaming Accelerator（DSA，数据流加速器）。Sapphire Rapids 还有与高带宽内存共同封装的版本；HBM 接口也位于 Accelerator 区域。

图内其余术语：Cores and Cache＝核心与缓存；Memory＝内存控制器区域；Accelerators＝加速器。

例：裸片良率

问题。 假定缺陷密度为每 cm² 0.012 个、$N=35$，求边长分别为 1.5 cm 和 1.0 cm 的裸片的良率。

解答。 两种裸片的总面积分别为 2.25 cm² 和 1.00 cm²。对于较大的裸片，原书给出的良率计算为：

对于较小的裸片，原书给出的计算为：

最终关心的是每片晶圆上的合格裸片数。大裸片只有 40% 合格，小裸片则约有三分之二合格。小裸片的面积略小于大裸片的一半，每片晶圆的合格裸片数却大约是其四倍。

译注： 两式左端在原页中都写作 Die yield，但右端乘以了每片晶圆裸片数，因此实际计算的是“合格裸片数”，不是良率。原书算术结果也与其参数不完全一致：按原式重算，两种良率分别约为 0.3936 和 0.6587，合格裸片数分别约为 106.27 和 421.56，而非 109 和 427。

许多微处理器的裸片面积在 1.00–2.25 cm² 之间，但低端嵌入式 32 位处理器有时只有 0.05 cm²；用于廉价 IoT 设备嵌入式控制的处理器，往往还不到 0.01 cm²；高端服务器和 GPU 芯片则可达到 8 cm²。芯片能够重复制作的最大尺寸称为 reticle limit，即光刻设备在一次掩模曝光步骤中能够覆盖的面积，约为 8.5 cm²。

DRAM 和 SRAM 等标准化商品面临巨大价格压力，设计者因此引入冗余来提高良率。多年来，DRAM 普遍加入一些冗余存储单元，以容忍一定数量的缺陷。对于微处理器内部用作缓存的大型 SRAM 阵列，设计者也采用了类似技术。出于同样原因，GPU 在约 100 个片上处理器中会配置 4 个冗余处理器。显然，冗余单元可以显著提高良率。

2022 年，一片直径为 300 mm（12 英寸）的晶圆，采用 7 nm 工艺加工的成本约为 10,000 美元，采用 5 nm 工艺则约为 16,000 美元。假定加工后晶圆的成本为 16,000 美元，1.00 cm² 裸片的成本约为 35 美元，而 2.25 cm² 裸片的成本约为 135 美元。¹

对于芯片成本，计算机设计者应记住什么？制造工艺决定晶圆成本、晶圆良率和单位面积缺陷数，因此设计者能控制的是裸片面积和冗余。原文接着指出：实际上，由于单位面积的缺陷数很小，每片晶圆的合格裸片数，以及由此得到的每颗裸片成本，大致随裸片面积的平方增长。² 设计者通过决定哪些功能放到裸片上、哪些不放，以及 I/O 引脚的数量，影响裸片尺寸，进而影响成本。从环境角度看，一片晶圆所对应的隐含碳成本，不取决于它最终产出多少颗合格裸片；因此，提高每片晶圆的合格裸片产出，是降低每颗裸片隐含碳成本的一种好办法。³

在得到可以装进计算机的部件之前，裸片必须先接受测试，以区分合格与不合格产品，再进行封装，并在封装后再次测试。这些测试显著增加了从流片到获得可用芯片的时间，也增加了芯片制造成本。

前面的分析主要讨论制造一颗可用裸片的可变成本，这适用于大批量集成电路。不过，对于低产量产品——少于一百万颗——有一项极其重要的固定成本，会显著影响集成电路的成本，那就是一整套掩模的成本。集成电路工艺的每个步骤都需要单独的掩模。因此，对于金属层数多达十层的现代高密度制造工艺，7 nm 的掩模成本约为 1000 万美元，5 nm 则约为 2000 万美元。

图 1.17 展示了商用芯片开发总成本的组成，以及这些成本在近期工艺节点上显著上升的情况。这些费用统称为非重复性工程费用（nonrecurring engineering，NRE），也就是新产品开发的一次性成本。

好消息是，半导体公司提供 shuttle runs，可以大幅降低微型测试芯片的成本。它们把许多个小设计放进同一个裸片，以分摊掩模费用；之后再切分成更小的部分，交给各个项目。因此，在 2022 年，TSMC 以 12,000 美元的价格，就能提供 80–100 颗未经测试、采用 28 nm 工艺、尺寸为 1 mm × 1 mm 的裸片。这些裸片虽然很小，却能为体系结构设计者提供数百万个晶体管的试验空间。例如，这样一颗裸片能够容纳数个 RISC-V 处理器。

shuttle runs 有利于原型制作和调试，但无法解决几万到几十万颗产品的小批量生产问题。由于掩模成本可能继续上涨，一种新的方法正逐渐受到重视，下面就来讨论。

图 1.17（续）。 从图例下方向上看，各项含义如下：IP Qualification 是验证芯片所获授权 IP 模块的费用；Architecture 是芯片的逻辑设计；Verification 是检查芯片是否符合设计规格；Physical 是芯片版图的物理设计；Software 是该设计特有的底层软件，包括驱动程序、固件和诊断程序，这些软件必须为该芯片移植或重新优化；Prototype 包括评估芯片所需的电路板和软件；Validation 的层次高于 Verification，它检查软硬件系统是否满足用户最终应用的实际需求。掩模成本包含在物理设计中。5 nm 节点的数据是预测值，其他节点则依据实际经验。图源：Joel Hruska，2018 年 6 月 22 日，“As Chip Design Costs Skyrocket, 3nm Process Node Is in Jeopardy”。

图内纵轴 Advanced Design Cost 为先进芯片设计成本，M 表示百万美元。总额如下；各色分项未给出精确数字，不能从柱形高度补造数据。

Chiplet

本书前几版记录了向更小几何尺寸发展所需的费用。在第 6 版中，我们列出的 28 nm 工艺、300 mm 晶圆加工成本为 4000–5000 美元，与第 5 版所列 90 nm 晶圆的价格相近。

如今，5 nm 晶圆的成本为 16,000 美元，约为原来的四倍。第 6 版中，28 nm 工艺的掩模费用为 150 万美元，同样与第 5 版中 90 nm 工艺的费用相近；到了 5 nm，费用升至 2000 万美元，约增长到原来的 13 倍。AMD 发现，从 45 nm 到 5 nm，一颗面积为 250 mm² 的合格裸片，其成本升至原来的五倍（Naffziger, 2021）。

不断上涨的掩模成本，对高产量芯片，例如产量超过一千万颗的产品，影响相对较小；但对产量低于一百万颗的芯片，则形成了显著的成本下限。如第 7 章将要讨论的，通用处理器无法像专用处理器那样显著提高性价比，于是产业开始制造种类更多、各自产量较低的芯片，而不是把产量集中到少数几种芯片上。体系结构走向专用化的趋势，与半导体经济性更偏好超大规模生产的趋势发生了冲突。

此外，虽然最新、也更昂贵的工艺仍能改善逻辑门，芯片中的其他部件却未能同步进步，见图 1.13。单位连线长度的能耗改善得慢得多，SRAM 密度的增长也比过去缓慢。比较 65 nm 和 3 nm 工艺，图 1.18 表明，每 mm² 的 SRAM 容量约只有理想缩放所预期密度的 1/20；较早的工艺世代曾经能够达到那种理想缩放。模拟电路的缩放也在放缓，这意味着 7 nm 之后，I/O 的进步会很缓慢。

由于技术发展趋势与体系结构发展趋势方向相反，一种解决办法就是 chiplet，即用于组成同一封装系统的小型裸片。多个较小的裸片，其中一些可以采用较老、成本更低的工艺节点，被集成到一个封装中，取代 Moore 定律所展现的传统路径：不断制造更大的单一裸片。

图内术语：Actual cell SRAM size＝实际 SRAM 单元尺寸；Cumulative Ideal Scaling＝累积理想缩放；Bit cell area in μm²＝位单元面积（μm²）；Process Node (nm)＝工艺节点（nm）。

这种新型封装方案也带来了新的挑战：

• 芯片设计更复杂，因为必须把一个完整的逻辑设计划分成多个较小的独立部分。
• 需要新的 chiplet 间通信通路。与片上通信相比，这些通路更长，功耗或延迟更高，带宽也更低。
• 某些功能在单个大裸片中只需实现一次，拆成 chiplet 后则可能要在每个 chiplet 上重复实现。

尽管如此，相比单个大芯片的设计，合理选择 chiplet 仍然能够降低成本，并增加有效硅片总面积。

例如，最初的 AMD EPYC CPU 使用四个 14 nm chiplet（Naffziger, 2021）。AMD 估算，如果采用 14 nm 工艺制造一颗完整的 32 核芯片，需要 777 mm²。采用 chiplet 后，每个面积为 213 mm²，四个总共需要 $4\times213=852$ mm²，比前者多约 10%。但将良率考虑在内，AMD 预计，采用 chiplet 可以获得约 1.7 倍的成本优势。此外，chiplet 还让 AMD 能够利用同一种设计，同时提供 16 核和 32 核产品。

对于第二代 EPYC Rome CPU，AMD 发现 I/O 在 7 nm 工艺下改善不大，因此，更合理的做法是把这些功能集中到一个采用较便宜工艺制造的 I/O chiplet 中：12 nm 工艺、面积 416 mm²；与此同时，采用 7 nm 工艺的 8 核 chiplet 可以缩小到 74 mm²。chiplet 再次使 AMD 能够基于一种设计，提供 16、24、48 和 64 核等多种产品。在与单片定制设计的比较中，AMD 估计，16–48 核设计的成本会高出约 1.8–2 倍；但 64 核设计根本无法制造，因为它的面积将超过 1000 mm²，越过掩模的 reticle limit。⁴ chiplet 之间的通信，确实比同一个大芯片内部通信更耗电；不过，这只占整个系统功耗的一小部分，可以纳入系统设计的统筹考虑。

AMD、Intel、NVIDIA 以及许多其他公司，已经在使用为特定产品设计的专用 chiplet。除了这些定制产品，如果 chiplet 能够标准化、在多条产品线之间复用，整个行业就有望受益：产量能够提高，每颗产品分摊的掩模成本也会降低。熟悉芯片历史的人会知道，Texas Instruments 的 TTL Data Book 及其 74xx 系列芯片，就是成功建立通用构件标准的例子；它们出现在 20 世纪 70 年代 Moore 定律的小规模集成阶段。今天，有许多工作正在尝试启动一个通用 chiplet 产业。一旦成功，定制硬件设计的成本和开发时间就可能大幅下降。不过，到目前为止，这更多还是一个理论上很有吸引力的可能性，尚不能说很有把握会实现。

为避免在系统讨论中混淆芯片与 chiplet，后续章节将用 **socket（插槽）**指代一个 CPU，无论它是单个大芯片，还是由多个 chiplet 组成的封装。

成本与价格

随着计算机走向商品化，产品制造成本与售价之间的差额不断缩小。这部分差额需要支付公司的研发（R&D）、市场推广、销售、制造设备维护、房屋租赁、融资成本、税前利润和税款。许多工程师会惊讶地发现，多数公司的研发开支只占收入的 4%–12%：标准化 PC 业务约为 4%，高端服务器业务约为 12%，而所有工程工作都要由这笔研发预算来承担。

制造成本与运行成本

在本书前四版中，“成本”指制造计算机的成本，“价格”指购买计算机的价格。仓库级计算机（WSC）出现后，一个系统内包含数万台服务器，除了购买费用，运行计算机的费用也变得非常可观。经济学把这两类费用分别称为资本性支出（CAPEX）和运营支出（OPEX）。

如第 6 章所示，如果假定 IT 设备的使用寿命较短，只有 3–4 年，那么服务器和网络设备摊销后的购置价格，约占 WSC 每月运行总成本的一半。总拥有成本（TCO）就是 CAPEX 加上 3–4 倍的 OPEX。⁵ 每月运营成本中，约 40% 用于电力，以及配电、IT 设备散热基础设施的摊销；尽管这些基础设施的摊销年限已经长达 10–15 年。因此，要降低 WSC 的运营成本，计算机体系结构设计者必须高效利用能源。还要注意，随着 Moore 定律放缓，一些公司已经开始把 IT 设备的使用寿命延长到 6–8 年。

1.7 可信赖性

历史上，集成电路一直是计算机中最可靠的部件之一。它们的引脚可能容易受损，通信通道也可能发生故障，但芯片内部的失效率很低。对于特征尺寸为 5 nm 及以下的工艺，这一传统认识正在改变：瞬态故障与永久性故障都越来越常见，体系结构设计者必须在系统设计中应对这些挑战。存储系统长期以来就需要处理瞬态错误，例如某个比特发生翻转，以及永久性错误，例如存储单元损坏；如今，芯片内部的逻辑电路也开始出现问题。

事实上，研究人员发现，每一千台服务器中，会有少数几个被他们称为 mercurial cores 的核心（Dixit, 2021; Hochschild, 2021; Trippel, 2022）。这些核心在执行某些指令时会反复出错，只有把指令的实际结果与预期结果进行比较，才能发现问题。这类**静默数据错误（silent data errors）**或 silent corrupt execution errors 具有以下特点：

• 检出的频率远高于程序员的预期；
• 并非只是在硬件错误的背景发生率上增加了一点；

• 出现在功能逻辑中，而不是那些较容易用错误检测码发现问题的存储结构中；
• 可能在硬件安装很久之后才出现；
• 通常只影响特定核心，而不是整个多核芯片；
• 可能因多种原因突然且不可预测地出现，例如一次很小的软件改动，使原本很少使用的指令被更频繁地执行。

研究人员建议采用软件缓解措施来应对静默错误，同时要求硬件制造商构建更稳健的硬件，或许可以借鉴大型机采用的错误检查技术。还有研究者建议，通过加强扫描测试和系统级测试，改进制造后的测试。

本节简要介绍可信赖性方面的问题；相关术语的正式定义和解决方法，留待附录 D 的 D.3 节讨论。

计算机是在不同抽象层次上设计和构建的。我们可以沿着一台计算机逐层向下展开：在上一层看似一个部件的东西，在下一层就成为完整的子系统，如此递归，最终抵达单个晶体管。有些故障影响广泛，例如断电，但许多故障可以局限在一个模块的某个部件中。因此，某一层次上整个模块的彻底失效，在更高层模块看来，可能只是一处部件错误。理解这一差别，有助于寻找构建可信赖计算机的方法。

一个难题是：如何判定系统正在正常运行？随着互联网服务普及，这一理论问题变成了现实问题。基础设施提供商开始提供服务水平协议（SLA）或服务水平目标（SLO），承诺网络或供电服务的可信赖程度。例如，如果某个月有若干小时未满足协议约定，就向客户支付赔偿。因此，可以用 SLA 来判定系统究竟处于正常服务状态，还是停机状态。

相对于一份 SLA，系统会在两种服务状态之间交替：

1. 服务正常（service accomplishment）：按约定提供服务。
2. 服务中断（service interruption）：提供的服务不符合 SLA。

两种状态之间的转换，分别由**失效（failure）和恢复（restoration）**引起：前者使系统从状态 1 进入状态 2，后者则从状态 2 返回状态 1。对这些转换进行量化，可以得到可信赖性的两项主要度量：

• **模块可靠性（module reliability）**衡量从某个参考起始时刻起，服务连续正常提供的情况；等价地，也可以考察直到发生失效所经历的时间。因此，**平均失效前时间（mean time to failure，MTTF）是可靠性的一项度量。服务中断时间用平均修复时间（mean time to repair，MTTR）**衡量。**平均失效间隔时间（mean time between failures，MTBF）**则是 MTTF 与 MTTR 之和。

MTBF 的倒数就是失效率。**年失效率（annual failure rate，AFR）**与以小时为单位的 MTBF 之间，关系如下：

如果 MTBF 很大，或者等价地说 AFR 很小，则可以近似为：

原文接着指出，AFR 通常用每十亿小时运行中的失效次数来报告，即 FIT（failures in time）。¹ 因此，1,000,000 小时这样很大的 MTTF，大约对应 $10^9/10^6$，即 1000 FIT。如果一组模块的寿命都服从指数分布，也就是说，模块已使用多久并不影响其失效概率，那么，这组模块的总体失效率就是各模块失效率之和。

• **模块可用性（module availability）**衡量系统在服务正常与服务中断两种状态交替过程中，能够正常提供服务的程度。对于可修复的非冗余系统，模块可用性为：

注意，现在“可靠性”和“可用性”都是能够量化的指标，而不是“可信赖性”的同义词。根据这些定义，只要对部件可靠性作出一些假设，并假定各次失效相互独立，就能定量估算系统可靠性。

例：磁盘子系统的 MTTF

问题。 假设一个磁盘子系统包含下列部件，其 MTTF 分别如下：

• 10 块磁盘，每块的额定 MTTF 为 1,000,000 小时；
• 1 个 ATA 控制器，MTTF 为 500,000 小时；
• 1 个电源，MTTF 为 200,000 小时；
• 1 个风扇，MTTF 为 200,000 小时；
• 1 根 ATA 电缆，MTTF 为 1,000,000 小时。

采用寿命服从指数分布、各部件失效相互独立这两个简化假设，计算整个系统的 MTTF。

解答。 各部件失效率之和为：

也就是 23,000 FIT。系统的 MTTF 就是失效率的倒数：

即略少于五年。

应对失效的主要方法是冗余，可以是时间上的冗余，也可以是资源上的冗余。时间冗余是重复执行操作，观察是否仍会出错；资源冗余则是准备其他部件，在某个部件失效时接替它。一旦部件被更换，系统得到完全修复，就假定它的可信赖性恢复到如同新系统一样。下面用一个例子量化冗余的收益。

例：冗余电源的可靠性

问题。 磁盘子系统经常采用冗余电源来提高可信赖性。使用上一例的部件与 MTTF 数值，计算冗余电源的可靠性。假设一个电源就足以让磁盘子系统运行，现在再增加一个冗余电源。

解答。 我们需要一个公式，来表示系统在容忍一次失效后仍可提供服务时，能够获得怎样的可靠性。为简化计算，假设各部件的寿命服从指数分布，且失效相互独立。冗余电源组的 MTTF，等于其中一个电源首次失效前的平均时间，除以第一个电源被更换之前，另一个电源也失效的概率。因此，如果修复之前发生第二次失效的概率很小，这对电源的 MTTF 就会很大。

由于有两个电源，且失效相互独立，直到其中一个失效的平均时间为 $\mathrm{MTTF}_{\mathrm{power\ supply}}/2$。第二个电源在此期间也失效的概率，可以较好地近似为 MTTR 除以另一个电源的平均失效前时间。因此，一对冗余电源的 MTTF 可以合理地近似为：

采用前面的 MTTF 数值，并假设人工发现电源失效并将其更换，平均需要 24 小时，那么，这对容错电源的可靠性为：

因此，这对电源的可靠性约为单个电源的 4150 倍。

1.8 安全性

操作系统以及其他具有特权访问能力的系统软件，例如虚拟机，存在大量软件漏洞，它们一直是攻击者入侵计算机系统的主要途径。然而，2015 年，Google 展示了一种用户程序：它利用 DDR3 DRAM 芯片中的弱点，能够突破虚拟内存保护（Seaborn, 2015）。由于 DRAM 内部采用二维结构，而 DDR3 DRAM 的存储单元又非常小，研究人员发现，反复写入 DDR3 DRAM 的某一行，对它进行“锤击”，可能会在相邻行引发扰动错误，使受害行中的比特翻转。后续工作表明，同时攻击附近的两行，效果更强。

**Row hammer（行锤）**攻击针对的是物理内存，因此，破坏某些数据远比精确击中虚拟内存中的特定目标容易。锤击的确切结果无法预测，但多次尝试可能导致灾难性后果。攻击者可以巧妙地利用 row hammer 改变页表项中的保护位，从而让程序获得对操作系统原本试图保护的内存区域的访问权限。后来的微处理器和 DRAM 加入了检测 row hammer 攻击的机制，以阻止这类攻击。第 2 章将讨论在 DRAM 和操作系统两个层面防范定向 row hammer 攻击的技术。

这一攻击震惊了许多安全研究人员；在此之前，他们认为硬件不会受到安全问题的影响。虽然可以说 row hammer 本质上是可信赖性问题，因为内存中保存了错误的信息，但它只是一个新攻击方向的开端：攻击者开始把硬件弱点作为目标。

至少从 20 世纪 70 年代起，人们就已经知道**时序通道（timing channel）**是一种安全弱点，但大多数体系结构设计者错误地认为，它在实践中无关紧要。早期攻击要么利用操作系统缺陷，要么要求攻击者能够实际接触目标设备，要么只能以极低的带宽泄漏信息。然而，时序这样的实现属性，同样可能影响功能行为。

2018 年曝光的 Spectre 鲜明地展示了这一问题：它利用微体系结构中的推测执行，从用户级沙箱、内核或 hypervisor 中泄漏私密信息，让用户态攻击代码获得这些信息（Kocher, 2019）。

Spectre 利用了三种微体系结构技术：

1. 指令推测执行。 处理器核心试图越过分支进行推测，以并发执行数十条指令。推测正确时，就提交对 ISA 可见状态的修改；推测错误时，则撤销这些修改。Spectre 反其道而行：它故意让处理器推测执行一些指令，即使知道这些指令对 ISA 可见状态的修改最终会被撤销。其隐蔽目的，是在微体系结构中留下“面包屑”般的线索，暴露程序员原以为隐藏起来的秘密。
2. 缓存。 缓存对 ISA 不可见。特别是，按照传统的计算机体系结构认识，组相联缓存中哪个块是最近最少使用的，并不影响程序正确执行，因此，发生错误推测时不必恢复这一状态。Spectre 利用这一出人意料的弱点，留下并随后寻找能够泄漏秘密的“面包屑”。它由此把缓存内容用作传递秘密数据值的“侧信道（side channel）”。
3. 硬件多线程。 如果攻击程序能与目标程序紧邻运行，就更容易察觉这种细微的时序变化。在硬件多线程中，一个程序的指令可以与其他程序的指令交错执行，见第 3 章；这使攻击更容易实现。硬件攻击令人担忧，以至于云服务商如今提供了选项，让用户的服务器不与其他客户的程序共享。例如，AWS 提供 Dedicated Instances，价格比传统共享实例高约 5%。

自 Spectre 公布以来，许多其他攻击又陆续出现，利用了类似的微体系结构弱点。

第 2 章和第 3 章将更深入地讨论安全性，说明如何通过针对存储层次结构和处理器的时序攻击泄漏信息。

介绍了安全性，并对计算机技术的成本、功耗和可信赖性进行了量化之后，我们已经可以进一步量化性能。

1.9 性能的测量、报告与汇总

当我们说一台计算机比另一台更快时，究竟指什么？手机用户可能认为，程序运行所需的时间越短，计算机就越快；而 Amazon.com 的管理员可能认为，每小时完成的事务越多，计算机就越快。手机用户希望缩短响应时间（response time），即从一项活动开始到结束所经历的时间，也称执行时间。云数据中心的运营者则希望提高吞吐量（throughput），即给定时间内完成的工作总量。

比较不同设计方案时，我们经常需要说明两台计算机的性能关系，设它们分别为 X 和 Y。本书中，“X 比 Y 快”是指：对于给定任务，X 的响应时间或执行时间比 Y 短。

具体而言，“X 的速度是 Y 的 $n$ 倍”表示：

由于执行时间是性能的倒数，下面的关系成立：

“X 的吞吐量是 Y 的 1.3 倍”则表示：在单位时间内，计算机 X 完成的任务数是 Y 的 1.3 倍。

遗憾的是，比较计算机性能时，人们采用的指标并不总是时间。我们的立场是：真实程序的执行时间，是唯一始终一致而可靠的性能度量。无论是提出其他指标来代替时间，还是用其他测量对象来代替真实程序，最终都曾导致误导性的宣传，甚至导致计算机设计上的错误。

即使是执行时间，也会因为计入的内容不同而有不同的定义。最直观的定义称为墙钟时间（wall-clock time）、响应时间或经过时间（elapsed time）：它是完成一项任务所经历的全部延迟，包括存储设备访问、内存访问、I/O 活动、操作系统开销等一切时间。在多道程序环境下，处理器等待 I/O 时会转而执行另一个程序，因此未必会使某一个程序的经过时间最短。为了描述这种情况，我们需要另一个术语。CPU 时间专门区分了这一点：它是处理器实际进行计算的时间，不包括等待 I/O 或运行其他程序的时间。（显然，用户感受到的响应时间是程序的经过时间，而不是 CPU 时间。）

经常运行同一组程序的用户，是评估新计算机的理想人选。他们只需比较自身工作负载的执行时间，就能评价新系统。这里的工作负载，是指用户在计算机上运行的程序和操作系统命令的组合。不过，很少有人拥有这样的便利条件。大多数人不得不依靠其他方法，往往还要依靠其他评估者，来评价计算机，并寄望于这些方法能够预测自己使用新机器时的性能。一种方法是运行基准测试程序：许多公司用这类程序来确定其计算机的相对性能。

基准测试

测量性能时，最好的基准测试是真实应用，例如 1.1 节提到的 Google Translate。尝试用远比真实应用简单的程序来衡量性能，曾引发种种问题。

这类程序包括：

• 核心片段（kernels）：真实应用中小而关键的部分。
• 玩具程序（toy programs）：来自编程入门作业、从头到尾大约只有 100 行的程序，例如 Quicksort。
• 合成基准测试（synthetic benchmarks）：为模仿真实应用的特征与行为而人为构造的程序，例如 Dhrystone。

如今，这三种做法都已失去公信力，通常是因为编译器开发者与体系结构设计者可以联手优化这些替代程序，使计算机在它们上面显得比运行真实应用时更快。令本书作者遗憾的是，Dhrystone 这个合成程序，至今仍是嵌入式处理器领域最常被引用的基准测试之一！我们曾以为，所有计算机体系结构设计者都已经承认，用合成基准测试表征性能是一种站不住脚的做法，因此在本书第 4 版中删掉了对这一谬误的讨论。

另一个问题是基准测试的运行条件。过去，提升基准测试性能的一种办法，是使用专门针对该测试的编译器选项。这些选项往往会触发某些变换，而这些变换对许多程序来说并不合法，或者会降低其他程序的性能。为限制这种做法、提高结果的意义，基准测试制定者通常要求：对于同一种语言（例如 C++ 或 C）编写的全部程序，厂商必须使用同一个编译器和同一组编译选项。其目的，是尽量降低“benchmarketing”的影响，即围绕基准成绩进行营销式优化（见 1.11 节）。¹

除了编译器选项，还要决定是否允许修改源代码。对此有三种不同做法：

1. 不允许对源代码作任何修改。
2. 允许修改源代码，但实际上几乎不可能这样做。例如，数据库基准测试依赖标准数据库程序，其代码规模达数千万行。数据库公司极不可能仅为提升某一台计算机的性能而修改这些程序。
3. 允许修改源代码，只要修改后的版本产生相同的结果。

基准测试设计者在决定是否允许修改源代码时，面临的关键问题是：这些修改是否符合实际使用方式，能否为用户提供有价值的信息；还是仅仅削弱了基准测试预测真实性能的准确性。第 7 章将看到，领域专用体系结构的设计者在为定义明确的任务开发处理器时，通常采用第三种做法。

为了避免把过多希望寄托在单一测试上，人们常把多个基准应用组合成基准测试套件（benchmark suite），用来衡量处理器运行不同应用时的性能。

当然，套件的质量取决于组成它的各项基准测试。不过，套件的一个重要优点是：其他基准测试的存在，能够减轻某一个测试的缺陷所造成的影响。基准测试套件的目标，是刻画两台计算机真实的相对性能，尤其是客户可能运行、却不在套件中的那些程序的相对性能。

建立标准化基准应用套件的尝试中，最成功的组织之一是 SPEC（Standard Performance Evaluation Corporation）。它源于 20 世纪 80 年代末为工作站和服务器提供更好基准测试的努力。当时，越来越流行的 Dhrystone 基准测试准确性欠佳，这也是促成 SPEC 的原因之一。计算机行业不断发展，对基准测试套件的需求也随之变化；如今 SPEC 已提供覆盖多种应用类别的测试。全部 SPEC 基准测试套件及其报告结果，都可以在 SPEC 网站 找到。

虽然下面许多小节主要讨论 SPEC 基准测试，但针对运行 Windows 的 PC，也开发了不少其他基准测试，例如 Geekbench。

一个值得警惕的例子是 Electronic Design News Embedded Microprocessor Benchmark Consortium 的基准测试，简称 EEMBC，发音与“embassy”相同。这套测试包含 41 个核心片段，用于预测不同嵌入式应用的性能，包括汽车与工业、消费类产品、网络、办公自动化和电信应用。EEMBC 同时报告未经修改的性能和“full fury”性能；后者几乎允许采取任何手段。部分因为这些测试使用小型核心片段，又部分因为其结果报告方式，EEMBC 的成绩并未被广泛引用。正因为它没有取得成功，那个它原本打算取代的 Dhrystone，遗憾地仍被沿用。EEMBC 于 2009 年推出 CoreMark：这是一个由四个核心片段组成的单一合成程序，如今它被引用的频率已经与 Dhrystone 相当。近期的 Embench 项目（Patterson et al., 2025）受到 SPEC 启发，旨在为嵌入式计算提供免费、开放的基准测试套件，取代 Dhrystone 和 CoreMark，成为标准的嵌入式基准测试（见 Embench 网站）。

桌面基准测试

桌面基准测试大致分为两类：处理器密集型和图形密集型，尽管许多图形基准测试也会给处理器带来繁重负载。SPEC 最初建立的是一套关注处理器性能的测试，起初称为 SPEC89。经过 SPEC92、SPEC95、SPEC2000 和 SPEC2006，它发展到了第六代 SPEC CPU2017。SPEC CPU2017 包含 10 个整数基准测试（CPU2017 Integer Speed）和 17 个浮点基准测试（CPU2017 Floating Point Speed）。² 图 1.19 描述了这一代 SPEC CPU 基准测试及其沿革。

对于前面讨论的编译器选项问题，SPEC 的解决方法是同时提供 base 和 peak 两种结果。base 要求同一种语言的所有基准程序使用相同的编译器选项，peak 则允许程序员为每项基准测试选择尽可能好的选项。

图 1.19 SPEC2017 程序及 SPEC 基准测试随时间的演变。分界线上方为整数程序，下方为浮点程序。SPEC2017 的 10 个整数程序中，5 个用 C 编写，4 个用 C++ 编写，1 个用 Fortran 编写。浮点程序中，3 个用 Fortran 编写，2 个用 C++ 编写，2 个用 C 编写，6 个混合使用 C、C++ 和 Fortran。图中列出了 1989、1992、1995、2000、2006 和 2017 年各版中的全部 82 个程序，其中 gcc 资历最老。只有 3 个整数程序和 3 个浮点程序历经了三代或更多代。虽然少数程序会从一代保留到下一代，但程序版本会变化，输入或测试规模也往往会扩大，以延长运行时间，避免测量受到扰动，或避免执行时间被 CPU 时间以外的某个因素主导。左侧的基准用途说明仅适用于 SPEC2017，并不适用于早期版本。不同代 SPEC 中处于同一行的程序通常没有关系；例如，fpppp 并不像 bwaves 那样是计算流体动力学（CFD）程序。

图内“Benchmark name by SPEC generation”意为“各代 SPEC 的基准程序名称”；程序名保留原标识符。图左侧用途说明译如下：

SPEC 基准测试采用真实程序，并作适当修改，以提高可移植性、尽量降低 I/O 对性能的影响。整数测试涵盖 C 编译器的一部分、围棋程序以及视频压缩等任务；浮点测试包括分子动力学、图像处理和天气预报。SPEC CPU 套件适合测试桌面系统和服务器的处理器性能。本书后面会多次使用这些程序的数据。不过，这些程序与现代编程语言及运行环境、与 1.1 节介绍的 Google Translate 应用，都相距甚远。其中三分之一的程序至少有一部分是用 Fortran 编写的！它们甚至采用静态链接，而大多数真实程序采用动态链接。遗憾的是，SPEC2017 中的应用或许确实是真实程序，却难以令人振奋。SPECINT2017 和 SPECFP2017 能否反映 21 世纪计算领域令人激动的发展，并不清楚。

1.11 节将介绍 SPEC CPU 套件开发过程中出现的问题，以及维持一套有用、具有预测能力的基准测试套件所面临的挑战。¹

SPEC CPU2017 面向处理器性能，但 SPEC 还提供许多其他基准测试。图 1.20 列出了 2023 年仍在使用的 17 项 SPEC 基准测试。³

服务器基准测试

正如服务器具有多种功能，服务器基准测试也有多种类型。最简单的一种，或许是面向处理器吞吐量的测试。SPEC CPU2017 利用 SPEC CPU 程序构造了一种简单的吞吐量测试：同时运行每个 SPEC CPU 程序的多个副本，通常副本数与处理器数相同，再将 CPU 时间转换为处理速率，分别称为 SPEC CPU2017 Integer Rates 和 CPU2017 Floating Point Rates，以此衡量多处理器的处理速率。如果某次测量运行了 8 个副本，而用时只有参考机器的一半，那么该项测试的 SPECrate 就是 16。这类测试衡量的是 1.2 节所说的请求级并行性（RLP）。为了衡量线程级并行性（TLP），SPEC 还提供了它所称的高性能计算基准测试，围绕 OpenMP、MPI（Message Passing Interface，消息传递接口），以及 GPU 等加速器展开（见图 1.20）。

除 SPECrate 外，多数服务器应用和基准测试都有大量 I/O 活动，来源是存储访问或网络通信。这包括文件服务器、Web 服务器，以及数据库与事务处理（TP）系统的测试。SPEC 提供文件服务器基准测试 SPECstorage，也提供 Java 服务器基准测试。（附录 D 详细讨论若干文件与 I/O 系统基准测试。）SPEC VIRT_SC 2013 和 SPECvirt Datacenter 2021 评估虚拟化数据中心服务器的端到端性能。SPEC 还有一个衡量功耗的测试，将在 1.11 节讨论。

事务处理基准测试衡量系统处理事务的能力；这些事务由数据库访问和更新组成。航空订票系统和银行 ATM 系统是典型而简单的事务处理实例；更复杂的系统还涉及复杂数据库与决策。

图 1.20 截至 2022 年仍在使用的 SPEC 基准测试。³

20 世纪 80 年代中期，一批关注此问题的工程师成立了独立于厂商的 Transaction Processing Council（TPC），试图为事务处理建立真实而公平的基准测试。其测试说明见 TPC 网站。

第一个 TPC 基准测试 TPC-A 于 1985 年发布，后来被多种不同的测试取代和增强。TPC-C 最初建立于 1992 年，模拟复杂的查询环境。TPC-H 模拟临时性的决策支持：查询彼此独立，无法利用对过去查询的了解来优化未来查询。TPC-DI 则面向数据集成（DI）这一新任务，它也称 ETL，即 Extract、Transform、Load（提取、转换、加载），是数据仓库的重要组成部分。TPC-DS 是决策支持基准测试。TPC-E 是一种在线事务处理（OLTP）工作负载，模拟证券经纪公司的客户账户。

面对传统关系数据库与“NoSQL”存储方案之间的争论，TPCx-HS 衡量的是使用 Hadoop 文件系统、运行 MapReduce 程序的系统；TPC-DS 则衡量使用关系数据库或 Hadoop 系统的决策支持系统。TPC-VMS 和 TPCx-V 衡量虚拟化系统的数据库性能；TPC-Energy 为现有全部 TPC 测试增加能耗指标。近年来，TPC 还把测试扩展到了物联网与人工智能领域。

所有 TPC 基准测试都用每秒事务数衡量性能。此外，它们还规定响应时间要求，因此只有满足响应时间限制时，测得的吞吐量才有效。为了模拟真实系统，更高的事务处理速率也要对应更大的系统规模，包括更多用户和更大的事务数据库。最后，还必须报告测试系统的成本，以便准确比较性价比。TPC 修改了其定价政策，让全部 TPC 测试遵循统一规范，并允许核实 TPC 公布的价格。

报告性能结果

报告性能测量结果时，首要原则应当是可复现性：列出另一位实验者重现结果所需的一切信息。SPEC 报告要求详细说明计算机和编译器选项，并同时公开基线结果与优化结果。除了硬件、软件以及基线调优参数的描述外，SPEC 报告还包括实际执行时间，同时以表格和图形呈现。TPC 报告更加完整，因为它还必须包含基准测试审计结果和成本信息。由于厂商既竞争性能，也竞争性价比，这些报告是了解计算系统真实成本的极佳资料。

汇总性能结果

在实际计算机设计中，必须使用一组被认为与目标有关的基准测试，对大量设计选择的相对收益进行定量评估。同样，消费者选择计算机时，也可能依赖基准测试的性能测量结果；理想情况下，这些测试应当类似于用户自己的应用。在这两种情形中，拥有一整套基准测试的测量结果都很有帮助：既可以使重要应用的性能与套件中的某一个或若干测试相对应，也可以了解性能的变化范围。最理想的情况是，这套测试能够构成应用空间中一个具有统计有效性的样本。不过，这需要的测试数量远多于通常的套件，还需要随机抽样，而几乎没有基准测试套件这样做。

一旦选定通过基准测试套件来衡量性能，我们就希望用一个数概括整套测试的结果。一种简单办法，是比较套件内各程序执行时间的算术平均值。另一种办法，是为每项基准测试赋予权重，再用加权算术平均值概括性能。选择权重的一种思路，是使所有程序在某台参考计算机上的加权执行时间相等；但这样会使结果偏向该参考计算机的性能特征。

我们也可以不选择权重，而是把执行时间相对于参考计算机进行归一化：用参考计算机的执行时间除以被评估计算机的执行时间，得到一个与性能成正比的比值。SPEC 采用这一方法，并将所得比值称为 SPECRatio。它有一项非常有用的性质，恰好契合本书衡量计算机性能的方法：比较性能之比。例如，假设某项基准测试上，计算机 A 的 SPECRatio 是 B 的 1.25 倍，那么：

注意，参考计算机的执行时间被约掉了。因此，像本书一贯采用的那样通过比值进行比较时，参考计算机的选择与结果无关。图 1.21 给出了一个例子。

由于 SPECRatio 是比值，而不是绝对执行时间，必须使用几何平均值来计算平均值。（SPECRatio 没有单位，因此对 SPECRatio 作算术比较没有意义。）⁴ 其计算公式如下。

图 1.21 SPEC CPU2017 参考计算机 Sun UltraSPARC-IV+ 的 Integer Speed 执行时间（秒），以及 AMD EPYC 7763 和 Intel Xeon Platinum 8380 的执行时间与 SPECRatio。最后两列分别给出执行时间之比与 SPEC 比值之比。该图表明，比较相对性能时，参考计算机无关紧要：执行时间之比与 SPEC 比值之比相同；几何平均值之比 $11.69/11.99=0.98$，也等于各项比值的几何平均值 0.98。⁵

对于 SPEC，$\mathrm{sample}_i$ 就是程序 $i$ 的 SPECRatio。使用几何平均值可以保证两项重要性质：

1. 比值的几何平均值，等于几何平均值之比。
2. 几何平均值之比，等于性能比值的几何平均值；这意味着参考计算机的选择无关紧要。

因此，使用几何平均值有充分理由，尤其是在通过性能比值进行比较时。

例：几何平均值与参考计算机

证明：几何平均值之比等于性能比值的几何平均值，而且 SPECRatio 所采用的参考计算机不影响结果。

解： 假设有两台计算机 A 和 B，并分别测得一组 SPECRatio。

也就是说，A 与 B 的 SPECRatio 几何平均值之比，等于套件内全部基准测试上 A 相对 B 的性能比值的几何平均值。图 1.21 用 SPEC2017 的实例验证了这一点。

1.10 计算机设计的定量原则

前面已经讨论了如何定义、测量和汇总性能、成本、可信赖性、能耗与功耗。现在可以进一步探讨那些有助于计算机设计与分析的指导原则。本节将介绍一些重要的设计认识，以及两个用于评估不同方案的公式。

利用并行性

利用并行性是提高性能最重要的手段之一。本书每一章都有通过利用并行性来提升性能的例子。这里先简要介绍三个方面，后续章节再展开讨论。

第一个例子是系统级并行。为提高典型服务器基准测试的吞吐量，例如 SPECStorage 或 TPC-C，可以使用多个处理器和多个存储设备。处理请求的工作负载可以分散到这些处理器与存储设备上，从而提高吞吐量。能够扩充内存、增加处理器和存储设备数量的能力称为可扩展性（scalability），是服务器的一项重要优势。把数据分散存放在多个存储设备上，以便并行读写，是在利用数据级并行性（DLP）。SPECstorage 还依靠请求级并行性（RLP）使用多个处理器，而 TPC-C 则利用线程级并行性（TLP）加快数据库查询。

在更细致的数字电路设计层面，也可以利用并行性。例如，存储系统使用多个存储体（bank），允许同时访问不同存储体，以提高内存带宽。算术逻辑单元中的超前进位（carry-lookahead）利用并行性，将求和所需时间对操作数位数的依赖，从线性关系降为对数关系。这些也是 DLP 的例子。

利用流水线

在单个处理器内部，利用指令之间的并行性，是实现高性能的关键。最简单的办法之一就是流水线（pipelining）。（附录 C 对流水线作了更详细的介绍，第 3 章也将重点讨论。）流水线的基本思想，是让不同指令的执行过程相互重叠，从而缩短完成一段指令序列所需的总时间。其关键认识在于：并非每条指令都依赖紧邻它之前的那条指令，因此可能让这些指令全部或部分地并行执行。流水线是最广为人知的指令级并行性（ILP）实例。

利用预测

俗话说，有时先做再请求原谅，胜过事先请求许可；下一种机会就是预测。如果预测相当准确，而预测失败后的恢复机制又不太昂贵，那么在某些情况下，与其等到完全确定，不如先作猜测并开始工作，平均而言反而更快。预测用于存储层次结构（见第 2 章），在现代流水线处理器中更得到广泛应用（见第 3 章）；但它也可能引发安全问题（见 1.8 节）。

利用局部性原理

对程序特性的观察，带来了一些重要的基本认识。我们经常利用的最重要的程序特性，就是局部性原理：程序往往会再次使用最近用过的数据和指令。一个广为流传的经验法则是，程序 90% 的执行时间花在仅仅 10% 的代码上。局部性的一个含义是：根据程序最近的访问行为，可以相当准确地预测它接下来将使用哪些指令和数据。局部性也适用于数据访问，只是不像代码访问那样明显。

人们观察到两种不同的局部性。时间局部性是指，最近访问过的项很可能很快再次被访问。空间局部性是指，地址彼此接近的项，其访问时间也往往彼此接近。第 2 章将介绍这些原理的应用。

通过冗余实现可信赖性

计算机不仅要快，还必须值得信赖。任何物理器件都有可能失效，因此我们通过加入冗余部件来提高系统的可信赖性：发生失效时，冗余部件可以接管工作，也可以帮助检测失效，前面介绍的冗余电源就是一个例子。内存和存储设备长期以来一直依赖冗余来保证可信赖性，而静默数据损坏问题（1.7 节）表明，这些技术对计算机的其他部件也将变得重要。

优先优化常见情况

计算机设计中最重要、应用最广泛的原则，也许就是优先优化常见情况：在作设计取舍时，优先照顾经常出现的情况，而不是罕见情况。这个原则适用于资源分配，因为一种情况出现得越频繁，改进它带来的影响就越大。

这一原则不仅适用于资源分配和性能，也适用于能耗。处理器的取指与译码单元，使用频率可能远高于乘法器，因此应当优先优化前者。可信赖性同样如此。如果数据库服务器每个处理器对应 50 个存储设备，那么系统的可信赖性很可能主要由存储设备决定。

此外，常见情况往往也比罕见情况更简单，处理起来更快。例如，处理器执行两个数的加法时，可以预期溢出很少发生，因此优化更常见的无溢出情况就能提高性能。这样做可能让溢出发生时的处理变慢，但只要溢出确实罕见，优化正常情况仍能提高整体性能。

本书将反复展示这一原则。在应用这个简单原则时，需要确定什么情况最常见，以及加快这种情况究竟能带来多大性能提升。

一个称为 Amdahl 定律的基本规律，可以将这一原则量化。

Amdahl 定律

改进计算机某一部分后能够获得多大的性能收益，可以用 Amdahl 定律计算。该定律指出：采用更快执行方式所能获得的性能提升，受限于这种更快方式可以发挥作用的时间比例。

Amdahl 定律定义了采用某项功能后可以获得的加速比（speedup）。加速比是什么？假设我们对计算机作出一项改进，使用该改进时性能就会提高。加速比定义为：

也可以写成：

加速比告诉我们：与原计算机相比，任务在采用改进后的计算机上能运行得多快。

Amdahl 定律提供了一种快速计算改进收益的方法。所得加速比取决于两个因素：

1. 原计算机的计算时间中，能够利用改进的部分所占的比例。 例如，一个程序总共执行 100 秒，其中有 40 秒可以利用改进，那么这个比例就是 $40/100$。我们将它称为 $\mathrm{Fraction}_{\mathrm{enhanced}}$，其值总是小于或等于 1。
2. 改进后的执行方式本身带来的加速比。 也就是假设整个程序都能使用这种方式，它会运行得多快。这个值等于原方式所需时间除以改进方式所需时间。例如，程序的某个部分原来耗时 40 秒，改进后耗时 4 秒，那么加速比就是 $40/4=10$。我们将它称为 $\mathrm{Speedup}_{\mathrm{enhanced}}$，其值总是大于 1。

在原计算机中采用改进后的执行方式，总执行时间等于未改进部分的时间，加上使用改进部分的时间：

整体加速比就是改进前后执行时间之比：

例：加快 Web 服务器的处理器

假设要改进一台提供 Web 服务的处理器。新处理器执行该 Web 服务应用中的计算部分时，速度是旧处理器的 10 倍。原处理器有 40% 的时间在计算，60% 的时间在等待 I/O。采用这项改进后，整体加速比是多少？

解：

Amdahl 定律体现了收益递减规律：只改进计算过程的一部分时，随着该部分不断被加速，整体加速比所获得的增量会越来越小。它的一个重要推论是：如果改进只能用于任务的一部分，那么任务的加速比不可能超过“1 减去该部分所占比例”的倒数。

使用 Amdahl 定律时，一个常见错误是混淆“原时间中能够利用改进的比例”与“改进后这部分占总时间的比例”。如果测量的不是计算过程中原本可以利用改进的时间，而是改进已经生效后的时间，结果就会出错！

Amdahl 定律可以指导我们判断某项改进会带来多大性能提升，以及如何分配资源来提高性价比。显然，应当按照时间消耗的比例投入资源。它特别适合比较两种方案的整体系统性能，也可以比较两种处理器设计方案，下面就是一个例子。

例：只加快平方根，还是加快全部浮点运算

图形处理器经常需要进行开平方运算。浮点平方根（FSQRT）的不同实现，性能差异很大，在面向图形的处理器之间尤其如此。假设一个关键图形基准测试有 20% 的执行时间用于 FSQRT。一种方案是改进 FSQRT 硬件，使这项操作的速度达到原来的 10 倍。

另一种方案是把图形处理器中所有浮点（FP）指令的速度提高到原来的 1.6 倍。假设浮点指令占应用执行时间的一半。设计团队认为，使全部浮点指令加速到 1.6 倍，与实现快速平方根所需的投入相同。请比较这两种方案。

解： 可以比较两种方案的加速比：

由于全部浮点运算出现得更频繁，整体加快浮点运算的方案略胜一筹。

Amdahl 定律的用途不限于性能。现在重新考虑 1.7 节的可靠性例题：通过冗余，把电源的平均失效前时间（MTTF）从 200,000 小时提高到 830,000,000 小时，即提高到原来的 4,150 倍。

例：冗余电源对系统可靠性的影响

磁盘子系统失效率的计算如下：

因此，可以改进的部分占失效率的比例，是系统总失效率每百万小时 23 次中的 5 次，即 0.22。

解： 可靠性的改善倍数为：

尽管一个模块的可靠性提高到了惊人的 4,150 倍，从整个系统看，收益虽然可以测出，却并不大。

在前面的例子中，我们需要知道新的、改进后的版本所占用的比例。¹ 直接测量这些时间往往比较困难。下面将介绍另一种比较方法，它所用的公式把 CPU 执行时间分解为三个独立因素。

只要知道某个方案如何影响这三个因素，就能确定它的整体性能。此外，在硬件真正完成设计之前，通常就可以构建模拟器来测量这些因素。

处理器性能公式

基本上，所有计算机都使用以固定速率运行的时钟。这些离散的时间事件称为时钟周期，英文中会使用 clock period、clock、cycle 或 clock cycle 等说法。设计者既可以用持续时间表示一个时钟周期，例如 1 ns，也可以用频率表示，例如 1 GHz。于是，程序的 CPU 时间可以写为：

或者：

除了执行程序所需的时钟周期数，还可以统计执行的指令数量，称为指令路径长度（instruction path length）或指令数（instruction count，IC）。知道总时钟周期数与 IC，就可以计算平均每条指令的时钟周期数（CPI）。本章采用 CPI，一是因为它便于使用，二是因为本章讨论的是简单处理器。设计者有时也使用每时钟周期指令数（instructions per clock，IPC），它是 CPI 的倒数。

CPI 的计算方式是：

这一处理器评价指标，有助于理解不同风格的指令集与实现方式，后面四章将大量使用它。

将上式中的指令数移项，可以得到总时钟周期数为 $\mathrm{IC}\times\mathrm{CPI}$。因此，执行时间公式可以写成：

把这一公式展开为计量单位，就能看清各部分如何对应：

这个公式表明，处理器性能取决于三个因素：时钟周期时间（或时钟频率）、CPI 和 IC。

而且，CPU 时间对这三个因素的依赖程度相同；例如，其中任一项改善 10%，CPU 时间也会相应改善 10%。²

遗憾的是，很难只改变其中一个参数而完全不影响其他参数，因为改变各项指标所依赖的基础技术彼此相关：

• 时钟周期时间：硬件技术与组成。
• CPI：组成与指令集体系结构（ISA）。
• 指令数：ISA 与编译器技术。

幸运的是，许多潜在的性能优化技术主要改善其中一个因素，而对另外两个因素的影响较小，或者可以预测。

设计处理器时，有时把总 CPU 时钟周期数写成下式会很有帮助：

其中，$\mathrm{IC}_i$ 表示指令 $i$ 在程序中执行的次数，$\mathrm{CPI}_i$ 表示该指令每次执行平均需要的时钟周期数。因此，CPU 时间可写为：

总体 CPI 则是：

后一种计算方法使用每类指令各自的 $\mathrm{CPI}_i$，以及该指令在程序中出现的比例，即 $\mathrm{IC}_i/\text{指令数}$。$\mathrm{CPI}_i$ 必须包含流水线影响、缓存未命中以及存储系统的其他低效因素，因此应通过测量获得，而不能只根据参考手册末尾的一张表来计算。

再看前面的性能例题，这次改用各类指令出现频率及其 CPI 的测量值。在实践中，这些数据通过模拟或硬件测量机制获得。

例：用处理器性能公式比较浮点优化

假设得到以下测量值：

有两种设计方案：把 FSQRT 的 CPI 降到 2，或者把所有浮点运算的平均 CPI 降到 2.5。请使用处理器性能公式比较两者。

解： 首先注意，只有 CPI 发生变化，时钟频率与指令数保持不变。先计算未采用任何改进时的原始 CPI：

从原始 CPI 中减去节省的周期数，即可得到改进 FSQRT 后的 CPI：

全部浮点指令得到改进后的 CPI，可以用同样方法计算，也可以分别计算浮点与非浮点指令的贡献后相加。采用后一种方法：

由于整体浮点优化方案的 CPI 略低，所以它的性能也略好。具体而言，该方案的加速比为：

令人欣慰的是，这与前面使用 Amdahl 定律得到的加速比相同。³

处理器性能公式中的各个因素，往往可以分别测量。

能够进行这种独立测量，是前例中采用处理器性能公式而不是 Amdahl 定律的一项重要优势。尤其是，某一组指令究竟占用了多大比例的执行时间，可能很难直接测量。在实践中，多半还是要对这组指令逐项计算 IC 与 CPI 的乘积，再求和。由于起点通常就是各项 IC 与 CPI 的测量结果，处理器性能公式格外有用。

要把这个公式作为设计工具，就必须能够测量各个因素。对已有处理器，执行时间容易通过测量获得，其默认时钟频率也已知。难点在于如何得到 IC 或 CPI。多数处理器都提供指令执行次数与时钟周期数的计数器。定期观察这些计数器，还可以把执行时间和指令数归到不同代码段上，帮助程序员理解与优化应用性能。设计者或程序员往往希望了解比硬件计数器所能提供的更细致的信息，例如，CPI 为什么是这个数值。这时，就需要使用类似于设计新处理器时所采用的模拟技术。

动态电压频率调节（DVFS）和超频等有助于能效的技术（见 1.5 节），会让这个公式更难使用，因为测量程序运行时，时钟频率可能在变化。一个简单办法是关闭这些功能，以保证结果可复现。幸运的是，性能与能效往往高度相关：程序运行时间越短，通常越节能。因此，在研究性能时，暂不考虑 DVFS 或超频对结果的影响，可能是可行的。

1.11 综合实例：性能、价格与功耗

每章接近结尾处的“综合实例”（Putting It All Together），都会用真实案例运用该章介绍的原则。本节通过 SPECpower 和 SPEC CPU 基准测试，考察小型服务器的性能及单位功耗性能。

图 1.22 列出了我们评估的两台多处理器服务器及其价格。为使价格比较公平，两台都选用 Dell PowerEdge 服务器。第一台是 PowerEdge R650，采用 Intel Xeon Platinum 8380 微处理器，时钟频率为 2.30 GHz，Turbo 模式下为 3.4 GHz。与第 2–5 章讨论的微处理器不同，这款 Intel 芯片有 40 个核心和 256 MB 的 L3 缓存。我们选择双插槽系统，因此共有 80 个核心，并配置 256 GB、3200 MHz 的 DDR4 DRAM。第二台是 PowerEdge R7525，采用 AMD EPYC 7763 微处理器，时钟频率为 2.45 GHz，Turbo 模式下为 3.5 GHz。它具有相同的插槽数，以及相同容量和类型的 DRAM。AMD 微处理器采用 chiplet，因此每个插槽可有 64 个核心，整机共 128 个核心，L3 缓存为 256 MB。在 SPECpower 测试中，两台机器都运行 Oracle Java HotSpot 18.9 版 Java 虚拟机（JVM）。

操作系统都采用 SUSE Linux Enterprise Server 5.3 版。Dell 对 64 核 AMD 微处理器的报价，约为 40 核 Intel 微处理器的两倍，因此 R7525 的价格约为 R650 的 1.4 倍。

图 1.22 被测的两台 Dell PowerEdge 服务器、截至 2022 年 6 月的价格，以及性能。我们通过减去第二颗处理器的成本来计算处理器成本。因此，服务器基础成本也作了调整，扣除了默认处理器和内存的估算成本。第 5 章将介绍这些多插槽系统的互连方式。由于 Dell 没有提交这两款服务器的 SPECpower 结果，我们采用了 Fujitsu（Intel 平台）与 Lenovo（AMD 平台）服务器的 SPECpower 成绩；这些服务器使用相同的微处理器、存储系统和时钟频率。¹

请注意，受基准测试的导向影响（见 1.9 节），这些服务器的配置并不寻常。相对于计算能力，图 1.22 中的系统内存很少，而且只配了一块容量仅为 480 GB 的固态盘。如果不需要相应增加内存和存储，增加核心的成本就并不高！

SPECpower 没有采用 SPEC CPU 中静态链接的 C 程序，而是使用用 Java 编写的、更现代的软件栈。它基于 SPECjbb，代表业务应用的服务器端，以每秒事务数衡量性能；该指标称为 ssj_ops，即每秒服务器端 Java 操作数（server-side Java operations per second）。与 SPEC CPU 类似，它会考验服务器处理器；此外还会考验缓存、存储系统，甚至多处理器互连系统。它也会考验 JVM，包括 JIT 即时编译器与垃圾收集器，以及底层操作系统的一部分。

图 1.22 的最后五行给出了 SPEC CPU 和 SPECpower 的性能结果。面向延迟的 CPU2017 Integer Speed 和 Floating Point Speed 成绩相近：AMD 系统分别是 Intel 系统的 1.03 倍和 1.09 倍。

而面向吞吐量的 SPEC CPU2017 Integer Rates、Floating Point Rates 和最大 SPECpower ssj_ops，分别约为 1.4 倍、1.5 倍和 1.6 倍，接近核心数约 1.6 倍的比例。²

虽然大多数基准测试和大多数计算机体系结构设计者，只关注系统在峰值负载下的性能，但计算机很少始终满负载运行。第 6 章图 6.35 给出了 Google 对数万台服务器持续 6 个月的利用率测量结果：平均利用率达到 100% 的服务器不到 1%，多数服务器的平均利用率在 10% 到 50% 之间。因此，SPECpower 从峰值负载开始，以 10% 为间隔逐步降低目标工作负载，一直降到 0%，并记录各档功耗。0% 负载称为 Active Idle，即系统仍处于运行状态的空闲。

图 1.23 展示了目标负载从 100% 变化到 0% 时，每瓦 ssj_ops（SSJ 操作数/秒）与平均功耗的变化。在每档目标工作负载下，采用 AMD 处理器的 R7525 都具有最低的功耗和最高的每瓦 ssj_ops。由于瓦特等于焦耳/秒，这个指标正比于每焦耳完成的 SSJ 操作数：

图 1.23 图 1.20 中两台服务器的单位功耗性能。³ 左轴为 ssj_ops/watt，对应柱形；右轴为瓦特数，对应折线。横轴表示目标工作负载，从 100% 变化到 Active Idle。

图内标注：Target Workload 为目标工作负载，Watts 为功率（瓦特），perf/Watt 为每瓦性能；蓝色柱和蓝色虚线分别表示 Intel 40 核平台的每瓦性能与功率，红色柱和红色点划线分别表示 AMD 64 核平台的对应值。原图左轴写作“ssy_ops/Watt”、图例中写作“40-core0”，均为图中原有写法；上下文所指指标是 ssj_ops/watt。

为得到一个能够比较系统能效的汇总数值，SPECpower 采用：

采用 Intel 处理器的 R650，总体 ssj_ops/watt 为 11,533；R7525 则为 23,036。也就是说，价格约为 1.4 倍，单位功耗性能则达到两倍。

1.12 谬误与陷阱

本书每章都有“谬误与陷阱”这一节，目的是解释一些广泛流传、却应当避免的错误认识。我们把这类误解称为谬误（fallacies），讨论时会尽量给出反例。我们还会介绍陷阱（pitfalls），即很容易犯的错误。陷阱往往源于把仅在特定条件下成立的原则过度推广。本节旨在帮助你在设计计算机时避免这些错误。本章涉及的主题中，不乏错误认识和容易重蹈的覆辙。

陷阱：所有指数增长规律都会放缓

最先失效的是 Dennard 缩放规律。Dennard 在 1974 年观察到，电压和电流应当与晶体管的线性尺寸成正比。由于动态功耗与 $CV^2f$ 成正比，这意味着随着 CMOS 工艺缩小，电路可以在保持功耗不变的同时，使用更多晶体管并运行于更高频率。30 年后，Dennard 缩放规律失效了：阈值电压和漏电流为每个晶体管的功耗设定了一个无法随尺寸继续缩减的下限。因此，现代芯片受到功率约束，频率提升也基本停滞，利用更高晶体管密度的代价越来越高。

接下来放缓的是硬盘。虽然磁盘领域没有一条对应的定律，但在过去 30 年里，决定磁盘容量的最大面密度曾以每年 30% 到 100% 的速度提高。过去十年中，这一增速却不足每年 5%。单盘容量的增长，主要依靠增加一块硬盘中的盘片数量。

再接下来，是久负盛名的 Moore 定律。每颗芯片的晶体管数每隔 1 到 2 年翻一番，已经不是近年的现实。例如，2014 年推出的 DRAM 芯片包含 80 亿个晶体管，直到 2019 年，包含 160 亿个晶体管的 DRAM 芯片才实现量产；按照 Moore 定律，那时本应至少达到 640 亿个晶体管。

图 1.24 展示了 Intel 自 1999 年以来对新工艺节点的估计。从 180 nm 到 22 nm，节点演进一直保持两年一代；到 14 nm 时延长为三年，下一个节点所需时间更长。

图 1.24 Moore 定律的放缓。图中给出了 Intel 新半导体工艺出现的时间，工艺节点以 nm 表示，纵轴采用对数刻度。注意，自 2011 年以来，新工艺节点之间的间隔由此前约两年延长为约三至五年。来源：WikiChip 的 Intel 工艺资料。

图内标注：Intel Process (nm) 为 Intel 工艺节点（nm），Year 为年份。

图 1.25 展示了微处理器与 DRAM 的带宽增长随时间的变化，这两者都受到 Dennard 缩放规律和 Moore 定律失效的影响；图中还列出了网络与磁盘的变化。曲线逐渐弯折，清楚地反映出技术进步正在放缓。自 1980 年前后以来，微处理器和网络的带宽改善幅度，是内存带宽改善幅度的十倍以上；而内存的改善幅度，又接近磁盘带宽改善幅度的十倍。

陷阱：工艺线宽已不再对应晶体管的实测宽度

直到 2005 年前后，以纳米表示的工艺数字仍对应芯片内部一个真实的物理尺寸。后来，传统平面晶体管在 20 nm 下表现不佳，因此转向在相同几何尺度下采用 FinFET 晶体管。为了表示这种新的 FinFET 晶体管更好，出于营销考虑，人们把它重新标成“16 nm 工艺”，尽管它仍处在相同的工艺尺度。一旦节点数字不再对应某个测量值，命名也就失去了约束。TSMC 7 nm 工艺的金属线间距为 40 nm，而 Intel 10 nm 工艺为 36 nm，因此 Intel 的 10 nm 可能做出比 TSMC 7 nm 更小的芯片。既然这些数字如今已经成为营销名称，就很难预测所谓“5 nm”及更小节点究竟能带来什么收益；而且，仍在制造最先进逻辑芯片的三家公司——Intel、Samsung 和 TSMC——采用的命名也可能不一致。

图 1.25 微处理器、网络、内存与磁盘的相对带宽随时间的变化，数据来自图 1.10。注意，在 2021 年，网络和微处理器与内存之间的带宽改善幅度相差约十倍，而内存与磁盘之间又相差近十倍。

图内标注：Relative Bandwidth Improvement 为相对带宽改善倍数，Year 为年份；Microprocessor、Memory、Network 和 Disk 分别为微处理器、内存、网络和磁盘。

谬误：多处理器是万能解药

2005 年前后转向在单颗芯片上放置多个处理器，并不是因为出现了某种突破，使并行编程骤然简单起来，或使多核计算机容易构建。发生这种转变，是因为指令级并行性的限制和功耗墙让人别无选择。一颗芯片上有多个处理器，并不保证功耗更低；设计一颗功耗更高的多核芯片，完全办得到。其潜力只在于：可以用多个较低频、较高效的核心，取代一个高频却低效的核心，从而继续提升性能。

第 4、5 章将看到，提高性能如今已经成了程序员的责任。程序员靠在 La-Z-Boy 躺椅上，什么也不做，只等硬件设计者让程序越来越快的时代，已经正式结束了。如果希望程序每一代都运行得更快，程序员就必须让程序具有更多并行性。

广为流传的那个版本的 Moore 定律——每一代技术都会带来更高性能——如今已有一部分要靠程序员来实现。

陷阱：栽在令人心碎的 Amdahl 定律上

几乎每位实际从事计算机设计的体系结构工程师都知道 Amdahl 定律。即便如此，我们差不多都曾在没有先测量某项功能的原有使用比例时，就花费巨大精力去优化它。直到整体加速效果令人失望，才想起本来应当先测量，再投入那么多精力改进！

陷阱：单点失效

1.10 节使用 Amdahl 定律进行的可靠性改善计算表明，系统的可信赖性受制于最薄弱的一环。 即使像前面的例子那样，把电源做得再可靠，单个风扇仍会限制磁盘子系统的可靠性。由 Amdahl 定律得出的这一认识，形成了容错系统的一条经验准则：应确保每个部件都有冗余，使任何单个部件的失效都不至于使整个系统停机。第 6 章将说明，软件层如何避免仓库级计算机（WSC）内部的单点失效。

谬误：提高性能的硬件改进也会提高能效，最差也不会增加能耗

Esmaeilzadeh et al.（2011）在一颗 2.67 GHz Intel Core i7 上，仅使用一个核心运行 SPEC2006，并启用 Turbo 模式（见 1.5 节）。时钟频率提高到 2.94 GHz，即原来的 1.10 倍后，性能提高到 1.07 倍，但 i7 消耗的焦耳数达到原来的 1.37 倍，瓦时数更达到 1.47 倍！¹ 也许正是这种低能效，使工程师在运行图 1.23 中两台服务器的 SPECpower 测试时关闭了 Turbo 模式。

谬误：基准测试永远有效

有许多因素影响基准测试预测真实性能的能力，其中一些会随时间变化。一个重要因素，是测试能否抵御“benchmark engineering”或“benchmarketing”——为了基准成绩而进行的专门优化。一旦某项基准测试标准化并广受采用，就会产生巨大压力，促使人们通过有针对性的优化，或对运行规则作激进解读，来提升成绩。

短小的核心片段，或执行时间集中在少量代码上的程序，尤其容易受到这种影响。

例如，尽管初衷很好，最初的 SPEC89 套件中还是包含了一个名为 matrix300 的小型核心片段，它由八种不同的 $300\times300$ 矩阵乘法组成。其中 99% 的执行时间花在同一行代码上（见 SPEC, 1989）。IBM 编译器对这个内层循环进行优化后，性能相对于前一版编译器提高到了九倍！它使用的是一种很好的技术，称为分块（blocking），第 2、4 章会讨论。但这项测试测到的是编译器调优效果，当然不能很好地反映整体性能，也不能代表这项优化通常能带来的收益。

如果忽视历史，就可能重蹈覆辙。SPEC Cint2006 整整十年没有更新，给了编译器开发者充足时间，针对这套测试不断打磨优化器。在一款 Intel 微处理器上，除了 libquantum，其他 SPEC Cint2006 测试的比值都落在 22 到 78 之间；libquantum 却快了 7,300 倍！这一“奇迹”来自 Intel 编译器的优化：它自动将代码并行化到所有核心上，还利用位打包（bit packing）来优化内存，把多个取值范围较窄的整数紧密打包，以节省内存空间，进而节省内存带宽。

为了说明基准测试的寿命之短，图 1.19 列出了历代 SPEC 中全部 82 个程序的状况；gcc 是 SPEC89 中唯一留存下来的程序。 令人吃惊的是，SPEC2000 及更早版本中的程序，约有 70% 在下一版中就被移除了。

谬误：磁盘的标称 MTTF 为 1,200,000 小时，接近 140 年，所以磁盘几乎不会失效

磁盘厂商当下的营销方式可能误导用户。如此高的 MTTF 是怎样算出来的？在早期测试中，厂商会把数千块磁盘放在一个房间里，运行几个月，然后统计失效数量。MTTF 等于这些磁盘累计工作小时数，除以失效磁盘数。

问题之一是，这个数值远远超过一块磁盘的使用寿命，而磁盘寿命通常按 5 年、即 43,800 小时估计。为使如此大的 MTTF 有所解释，厂商认为其模型对应如下使用方式：用户买入一块磁盘，此后每隔 5 年，也就是磁盘的计划使用寿命，就换一块。其含义是，如果许多客户以及他们的曾孙后代在今后一个世纪里一直这样做，那么平均更换 27 次、也就是约 140 年后，才会遇到一次失效。

更有用的指标是失效磁盘所占的比例，或年失效率（见 1.7 节）。假设有 1,000 块 MTTF 为 1,000,000 小时的磁盘，每天使用 24 小时。如果把失效磁盘换成可靠性特征相同的新盘，那么一年 8,760 小时内，失效磁盘的数量为：

换句话说，每年约有 0.9% 的磁盘失效，或在 5 年寿命中累计约 4.5%。²

而且，这些很高的标称数字，还假定温度和振动处于限定范围内。一旦超出范围，就不能再作同样保证。对真实使用环境中的磁盘进行的一项调查（Gray and van Ingen, 2005）发现，每年有 3% 到 7% 的磁盘失效，对应的 MTTF 约为 125,000–300,000 小时。一项规模更大的研究发现，磁盘年失效率为 2% 到 10%（Pinheiro et al., 2007）。因此，实际环境中的 MTTF，约比厂商标称值差 2 到 10 倍。

谬误：峰值性能能够反映实测性能

关于峰值性能，唯一普遍成立的定义是：“计算机保证不会超过的性能水平。”图 1.26 展示了四个程序在四种多处理器系统上的实测性能占峰值性能的比例，范围从 5% 到 58%。由于差距很大，而且会因基准程序不同而显著变化，峰值性能通常无助于预测实际性能。

陷阱：检测故障可能降低可用性

这个看似矛盾的陷阱，是因为计算机硬件中有相当多的状态，并非始终对正确运行至关重要。例如，分支预测器发生错误并不致命，可能只是性能受损。

在积极挖掘 ILP 的处理器中，并非所有操作都是程序正确执行所必需的。Mukherjee et al.（2003）发现，对于 SPEC2000 基准测试，可能处在关键路径上的操作不到 30%。

程序也存在同样现象。如果一个寄存器中的值已经“死亡”（dead），也就是程序会在下一次读取之前先写入新值，那么这个寄存器中的错误就无关紧要。如果在这样的寄存器中发现瞬态故障，就让程序崩溃，只会无谓地降低可用性。

Oracle 旗下 Sun Microsystems 部门曾在 2000 年遭遇这一问题：Sun E3000 到 Sun E10000 系统的 L2 缓存有奇偶校验，却没有纠错功能。构建缓存所用的 SRAM 存在间歇性故障，奇偶校验能够发现它们。如果缓存中的数据未被修改，处理器只需重新从缓存中读取数据。³ 但设计者没有用纠错码（ECC）保护缓存，因此遇到脏数据错误时，操作系统别无选择，只能报告错误并使程序崩溃。现场工程师检查时，超过 90% 的案例都查不出问题。

图 1.26 四个程序在四种多处理器系统上、规模扩展到 64 个处理器时，实测性能占峰值性能的比例。Earth Simulator 与 X1 是向量处理器（见第 4 章及附录 G）。它们不仅实现了更高的峰值性能比例，而且峰值性能本身最高，时钟频率却最低。除 Paratec 外，Power4 与 Itanium 2 系统的实测性能约为各自峰值的 5% 到 10%。⁴

图内标注：Percentage of peak performance 为占峰值性能的百分比。四个程序依次为 Paratec（等离子体物理）、LBMHD（材料科学）、Cactus（天体物理）和 GTC（磁约束聚变）。每组柱从左到右分别是 Power4、Itanium 2、NEC Earth Simulator、Cray X1。

原图来源：Oliker, L., Canning, A., Carter, J., Shalf, J., Ethier, S., 2004. Scientific computations on modern parallel vector systems. In Proceedings of the ACM/IEEE Conference on Supercomputing, November 6–12, 2004, Pittsburgh, PA, p. 10.

为降低这类错误的发生频率，Sun 修改了 Solaris 操作系统，安排一个进程主动把脏数据写回内存，以“清洗”（scrub）缓存。由于处理器芯片没有足够的引脚来增加 ECC，对脏数据而言，唯一可行的硬件方案是复制外部缓存，并用未发生奇偶校验错误的副本纠正错误。

陷阱就在于：检测到了故障，却没有提供纠正机制。这些工程师此后大概不会再设计外部缓存不带 ECC 的计算机了。

陷阱：高估计算技术对碳排放的影响

全球气候变化如此重要，考虑信息技术在其中的作用，当然不可或缺。但我们必须把数字算对，才能确保处理的是最重要的问题，也才能维护建议的可信度。讽刺的是，错误的计算有时反而更有新闻价值，从而吸引大量注意。即便后续发表的材料予以纠正，也往往得不到同样关注，那些错误的“似是而非的事实”便会在互联网上自行流传。

“Brandolini 定律”以幽默的方式概括了这种讽刺：驳斥错误信息所需的精力，是制造错误信息所需精力的十倍。

Koomey 和 Masanet 总结了估算排放时常见的四种错误（Koomey and Masanet, 2021）：

1. 忽视、误解，或错误描述关键参数随时间的变化。
2. 认为计算活动的短期变化，必然立即引起用电量的同比例变化。
3. 信息技术发展极快，哪怕预测未来几年也高度不确定，却仍试图作长期预测。
4. 仅凭信息技术生态中某一部分的趋势，就得出适用于整体的结论。

以下三个例子说明了这些陷阱：

• 2010 到 2018 年间，云数据中心的工作负载增长到了原来的 26 倍，估算用电量增长到了 5 倍。有人据此预测云计算会带来严重后果。但尽管云发展迅速，全球所有数据中心的实际能耗增长却不到 10%。两种观察之所以可以同时成立，是因为在这段时期，大量计算从效率相对较低的本地数据中心，转移到了效率高得多的云数据中心（Masanet et al., 2020）。这一错误估计，正是犯了上面的第四种错误。
• 报纸曾声称：“观看 30 分钟 Netflix 产生的排放［1.6 kg CO₂e］，相当于驾车近 4 英里。”更准确的估计是 36 克 CO₂e，约为前者的四十五分之一（Kamiya, 2020）。这一高估，主要源于第一种错误：忽视关键参数的变化。
• 报纸曾报道：“训练一个深度神经网络模型的排放，是一辆汽车全生命周期排放的五倍［284,019 kg］。”实际数字只有 2.4 kg CO₂e，约为前者的十二万分之一（Patterson et al., 2022）。第 7 章的“谬误与陷阱”会解释这一错误高估是如何产生的，主要原因仍是上述四种错误中的第一种。

1.13 结束语

本章介绍了一系列概念，并建立了一个定量分析框架，后续各章将在此基础上继续展开。从上一版开始，能效便始终与性能相伴，成为贯穿全书的主题。

第 2 章从至关重要的存储系统设计入手。我们将考察多种技术如何协同工作，使存储空间看起来无限大，同时又尽可能快。

对于缓存相关经验和背景不足的读者，附录 B 提供了入门材料。正如后续章节所展示的那样，软硬件协作已经成为高性能存储系统的关键，就像它对高性能流水线同样关键一样。

第 3 章讨论指令级并行性（ILP），其中流水线是最简单、最常见的形式。利用 ILP，是构建高速单处理器最重要的技术之一。第 3 章首先充分讨论基本概念，为理解这两章中将要考察的众多思想做好准备。¹ 这一章选用的实例横跨近 50 年，从最早的超级计算机之一 IBM 360/91，一直到当今市场上最快的处理器。重点是以动态方式、也就是在运行时利用 ILP。它还讨论 ILP 思想的局限，并引入多线程；第 4、5 章将继续深入这一主题。对于流水线相关经验和背景不足的读者，附录 C 提供了入门材料。我们预计，这些内容对许多读者来说只是复习，包括读过我们入门教材 Computer Organization and Design: The Hardware/Software Interface 的读者。

第 4 章介绍利用数据级并行性（DLP）的三种方式。最经典、历史最悠久的方法是向量体系结构，因此我们从这里开始，奠定 SIMD 设计的基本原理。（附录 G 更深入地讨论向量体系结构。）随后介绍当今大多数桌面微处理器都具有的 SIMD 指令集扩展。第三部分深入解释现代 GPU 的工作方式。多数 GPU 介绍从程序员的角度出发，往往掩盖了计算机真正的工作机制。本节则从内部实现的角度解释 GPU，包括 GPU 术语与传统体系结构术语之间的对应关系。

第 5 章关注如何利用多个处理器，也就是多处理器系统，来获得更高性能。与利用并行性来重叠执行单条指令不同，多处理利用并行性，让多条指令流在不同处理器上同时执行。我们的重点是最主要的多处理器形式——共享内存多处理器。不过，也会介绍其他类型，并讨论任何多处理器都要面对的普遍问题。这里同样会考察多种技术，重点放在 20 世纪 80、90 年代首次提出的那些重要思想上。

第 6 章先介绍集群，再深入讨论支撑现代云计算时代的仓库级计算机（WSC）。WSC 的设计者，堪称 Seymour Cray 等超级计算机先驱在专业上的继承人：他们同样在设计规模极大的计算机。一个 WSC 包含数万台服务器，设备及容纳设备的建筑成本接近 2 亿美元。前面各章关注的性价比与能效，同样适用于 WSC；基于定量分析作决策的方法也依然适用。本章还介绍虚拟机，这是实现安全云计算的一项关键技术。

第 7 章介绍领域专用体系结构：在 Moore 定律和 Dennard 缩放规律失效的背景下，这是继续提高性能与能效的唯一出路。它给出构建有效的领域专用体系结构的指导原则，介绍令人振奋的深度神经网络领域，分析四个近期实例——它们采用截然不同的方式加速神经网络——并比较其性价比。本版完稿之际，人工智能热潮空前高涨，不禁让人思考：从现在到下一版问世，通用 CPU 与 AI 加速器，究竟哪一方会获得更多投入？

本书还附有大量在线材料，详情见前言。这样做既是为了降低成本，也为了向读者介绍各种高级主题。图 1.27 列出了全部附录。书中收录的附录 A 至 C，对许多读者来说将是一次复习。

附录 D 不再以处理器为中心，而是讨论存储系统的问题。我们同样采用定量方法，但以系统行为的观察为基础，并从端到端的角度分析性能。该附录探讨一个重要问题：如何主要利用成本较低的磁存储技术，高效地存储和检索数据。重点是考察磁盘存储系统在典型 I/O 密集型负载下的性能，例如本章提到的 OLTP 基准测试。我们还深入讨论基于 RAID 的系统中的高级问题；这类系统用冗余磁盘同时实现高性能与高可用性。最后，附录 D 介绍排队论，为权衡利用率与延迟提供依据。

附录 E 从嵌入式计算的角度，重新审视各章及前面几个附录中的思想。

附录 F 广泛探讨系统互连，包括让计算机彼此通信的广域网与系统区域网络。

图 1.27 附录目录。

附录 H 回顾超长指令字（VLIW）的硬件与软件。相比之下，自 Hewlett-Packard 与 Intel 的 EPIC 在 1997 年登场以来，VLIW 在通用计算中的受欢迎程度已经下降。最终，它在数字信号处理器和领域专用体系结构中找到了用武之地。

附录 I 介绍用于高性能计算的大规模多处理器。

附录 J 是唯一从第 1 版保留下来的附录，讨论计算机算术。

附录 K 概览多种指令体系结构，包括 x86、IBM 360、VAX，以及众多 RISC 体系结构，例如 ARM、MIPS、Power、RISC-V 和 SPARC。

附录 L 讨论内存管理的高级技术，重点是虚拟机支持，以及面向超大地址空间的地址转换设计。随着云端处理器的发展，这些体系结构改进正在变得更加重要。

接下来介绍附录 M。

1.14 历史回顾与参考文献

附录 M（可在线获取）从历史角度回顾本书各章介绍的关键思想。这些历史回顾使我们能够沿着一系列机器，追踪某个思想的发展，或介绍一些重要项目。如果你希望考察某个思想或处理器最初的发展过程，或者想继续深入阅读，每段历史介绍的末尾都列有参考文献。就本章而言，可以参阅 M.2 节“计算机的早期发展”（The Early Development of Computers），其中讨论了数字计算机的早期发展与性能测量方法。

阅读这些历史材料时，你很快会意识到：与许多其他工程领域相比，计算领域还很年轻，而年轻的一大好处就是，某些开创性思想的提出者仍然健在——只要去问他们，我们就能了解这段历史！

案例与习题

作者：Gregory D. Peterson。

译校说明：题号、方括号内的难度标记及尖括号内的章节引用均沿用原书。部分章节引用与本版正文位置不完全一致；例如题目中涉及 Amdahl 定律的若干引用仍写为〈1.9〉，本版相关内容实际在 1.10 节。

案例一：芯片制造的发展趋势

本案例涉及的概念：

• 制造成本
• 制造良率
• 利用冗余容忍缺陷

尽管半导体制造正逼近物理学的基本极限，各公司仍在持续建设制造设施，以跟上 Moore 定律的步伐。每座新晶圆厂的成本都达数百亿美元；要制造新一代计算机芯片，还需要一系列相关技术共同取得进展。这些挑战直接影响能否造出性能更高的芯片，以及芯片的价格。本案例将探讨芯片设计中的一些决策，分析它们如何影响性能、良率、冗余和成本。

习题 1.1

[10/10/10/10/10/10]〈1.6〉 图 1.28 给出了影响 GPU 和 CPU 芯片成本的一组假设数据。接下来的几道题将探讨不同设计决策对这些芯片的影响。

a. [10]〈1.6〉 对于一片合格晶圆，GPU A 芯片的良率是多少？

b. [10]〈1.6〉 对于一片合格晶圆，CPU A 芯片的良率是多少？

c. [10]〈1.6〉 GPU B 将两个大型 chiplet 集成为一个封装系统。对于一片合格晶圆，每个 GPU B chiplet 的良率是多少？

d. [10]〈1.6〉 CPU B 将多个不同的 chiplet 集成为一个封装系统。其中，12 个用于计算任务的 chiplet 采用较小的工艺尺寸制造，另有一个用于 I/O 任务的 chiplet 采用较大的工艺尺寸。假设晶圆合格，构成 CPU B 的计算 chiplet 与 I/O chiplet 的良率各是多少？

e. [10]〈1.6〉 假设 GPU B 不采用 chiplet，而是制造成一块更大的单片芯片。此时的良率与原方案相比如何？你还能想到哪些使用 chiplet 更有利的理由？

f. [10]〈1.6〉 假设 CPU B 不采用 chiplet，而是使用较小的工艺节点制造成一块更大的单片芯片，并假定在较小工艺节点下 I/O 功能仍占用相同面积。此时的良率与原方案相比如何？

习题 1.2

[20/20/20/25/25]〈1.6〉 考虑制造上述各类芯片的工厂。我们希望评估应为每类芯片分配多少产能。假设每颗无缺陷的 GPU A 芯片可获得 1000 美元利润，

每颗无缺陷的 CPU A 芯片可获得 100 美元利润。对每类芯片，都假设晶圆直径为 300 mm。

a. [20]〈1.6〉 每片用于制造 GPU A 芯片的晶圆可获得多少利润？

b. [20]〈1.6〉 每片用于制造 CPU A 芯片的晶圆可获得多少利润？

c. [20]〈1.6〉 如果每月需求最多为 5000 颗 GPU A 和 3000 颗 CPU A，而工厂每月能加工 90 片晶圆，应为两类芯片各分配多少片晶圆？

d. [25]〈1.6〉 假设每个无缺陷的 GPU B 产品可获得 2500 美元利润，且每个产品需要两个 chiplet。每片用于制造 GPU B chiplet 的晶圆可获得多少利润？

e. [25]〈1.6〉 假设每个无缺陷的 CPU B 产品可获得 75 美元利润，每个产品需要 12 个计算 chiplet 和一个 I/O chiplet。每片用于制造 CPU B 计算 chiplet 的晶圆，能支持销售多少个 CPU B 产品？每加工一片计算 chiplet 晶圆，需要配套加工多少片 I/O chiplet 晶圆？如果工厂能加工 30 片这类晶圆，应如何在计算 chiplet 与 I/O chiplet 之间分配，才能使利润最大？最大利润是多少？

习题 1.3

[20/5]〈1.6〉 对于良率较低的大型处理器芯片，与其丢弃功能不完整的芯片，不如降价出售，以提高经济效益。某些产品可以按照不同核心数出售多个版本，这些版本也称为库存单位（stock keeping unit，SKU）。例如，可以销售分别包含 8、4、2、1 个核心的 CPU A 芯片。如果全部八个核心均无缺陷，就作为 CPU A8 出售；如果四至七个核心无缺陷，就作为 CPU A4 出售；如果两至三个核心无缺陷，就作为 CPU A2 出售。

为简化计算，用面积为原 CPU A 芯片 1/8 的芯片良率，作为单个核心的良率。再将该良率视为单个核心无缺陷的独立概率。每种配置的良率，则按相应数量核心无缺陷的概率计算。

a. [20]〈1.6〉 单个核心无缺陷的良率，以及 CPU A4、CPU A2 和 CPU A1 的良率各是多少？

b. [5]〈1.6〉 根据（a）的结果，你认为哪些芯片值得封装并出售？说明理由。

习题 1.4

[20/5/25]〈1.6〉 现在考虑用冗余提高 GPU 良率的类似方法。假设 GPU B 由两个 chiplet 构成，每个 chiplet 包含 85 个对称多处理器（原文为 symmetric multiprocessors，SM），相当于 GPU 中的核心。进一步假设，要交付一个包含 160 个 SM 的产品，需要两个可用的 GPU chiplet；每个 chiplet 最多可以有五个 SM 存在缺陷。

与习题 1.3 对 CPU A 的处理相同，以面积为原 GPU B chiplet 的 1/85 的 chiplet 良率，作为单个 SM 的良率。

同样，将该良率视为单个 SM 无缺陷的独立概率。再以至少 80 个 SM 无缺陷的概率，计算整个 chiplet 的良率。

译注：本题原文将 SM 展开为 symmetric multiprocessors；GPU 语境下通常所指的名称为 Streaming Multiprocessor。

a. [20]〈1.6〉 单个 SM 无缺陷的良率，以及每个 GPU B chiplet 的良率各是多少？

b. [5]〈1.6〉 根据（a）的结果，每片用于制造 GPU B chiplet 的晶圆能获得多少利润？与习题 1.2（d）的结果相比如何？

c. [25]〈1.6〉 对 GPU A 也可以作类似分析：假设每块裸片有 144 个 SM，而只要至少 132 个 SM 正常工作，芯片就可以出售。这样的冗余会如何影响每片晶圆的利润？它又会如何改变习题 1.2（c）的答案？

案例二：可扩展计算机系统

本案例涉及的概念：

• Amdahl 定律
• 冗余
• 平均失效前时间（MTTF）

现代系统的规模从微型物联网设备延伸到数据中心和超级计算机。以下习题讨论影响这些系统的实际问题，包括成本、功率与能耗，以及性能随规模的扩展。

大型可扩展计算机系统通常通过提高作业吞吐量（同时处理许多作业）、降低延迟（尽快完成任务），或兼顾两者，来获得高性能。利用并行性是提高性能的重要方法，适用于各种规模：从增加处理器内部的核心数，到增加服务器或节点内的处理器数、插槽数，再到增加数据中心或超级计算机中的服务器数、节点数。

习题 1.5

[10/20/20/20/25]〈1.10〉 将应用程序并行化时，理想加速比应等于处理器数量。实际上，加速比受两方面限制：程序中可并行化部分的比例，以及通信成本等额外开销。Amdahl 定律考虑了前者，却没有考虑后者。

a. [10]〈1.10〉 如果应用程序中可并行化的比例分别为 [80%、90%、95%、99%]，忽略通信成本时，使用 N 个处理器的加速比各是多少？

b. [20]〈1.10〉 如果每增加一个处理器，通信开销就增加原始执行时间的 [0.5%、1%、2%、5%]，使用 32 个处理器的加速比各是多少？

c. [20]〈1.10〉 如果处理器数量每翻一倍，通信开销就增加原始执行时间的 [0.5%、1%、2%、5%]，使用 32 个处理器的加速比各是多少？

d. [20]〈1.10〉 如果处理器数量每翻一倍，通信开销就增加原始执行时间的 [0.5%、1%、2%、5%]，使用 N 个处理器的加速比各是多少？

e. [25]〈1.10〉 写出求解下列问题的一般方程：若应用程序原始执行时间中有 P% 可以并行化，而处理器数量每翻一倍，通信开销就增加原始执行时间的 [0.5%、1%、2%、5%]，那么使用多少个处理器才能获得最大的加速比？

习题 1.6

[10/20/20/20]〈1.10〉 在习题 1.5 中，各种并行执行方案所处理的问题规模相同，这称为强扩展（strong scaling）。在弱扩展（weak scaling，有时也称为 Gustafson 定律）中，问题规模随处理器数量增加而增大。下面考虑一个采用弱扩展的应用程序的性能，即扩展加速比，同时考虑串行应用程序（基准）中被并行化部分的比例和通信成本。

a. [10]〈1.10〉 如果串行应用程序中可并行化的比例分别为 [80%、90%、95%、99%]，忽略通信成本，并假定其余方面都能随处理器数量增加而理想扩展，使用 N 个处理器的扩展加速比各是多少？

b. [20]〈1.10〉 如果每增加一个处理器，通信开销就增加原始执行时间的 [0.5%、1%、2%、5%]，使用 32 个处理器的扩展加速比各是多少？

c. [20]〈1.10〉 如果处理器数量每翻一倍，通信开销就增加原始执行时间的 [0.5%、1%、2%、5%]，使用 32 个处理器的扩展加速比各是多少？

d. [20]〈1.10〉 如果处理器数量每翻一倍，通信开销就增加原始执行时间的 [0.5%、1%、2%、5%]，使用 N 个处理器的扩展加速比各是多少？

习题 1.7

[讨论]〈1.9、1.10〉 世界上规模最大的超级计算机所参加的 Top 500 榜单（top500.org），使用稠密线性代数程序 High Performance LINPACK（HPL）作为基准测试，报告系统实际达到的每秒浮点运算次数（FLOPS）以及理论峰值 FLOPS。该榜单也使用稀疏线性代数程序 High Performance Conjugate Gradient（HPCG），同样报告实际达到的 FLOPS。根据 2024 年 6 月的榜单，排名靠前的计算机在 HPL 上平均达到了峰值 FLOPS 的约 70%，但在 HPCG 上还不到峰值的 2%。

a. 能否将 Top 500 的 HPL 或 HPCG 结果换算为加速比或扩展加速比？请说明理由。

b. 将这些 Top 500 结果与图 1.26 所示超级计算机运行科学计算程序时报告的结果进行比较。

c. 2024 年，一项研究在当时位列 Top 500 榜首的 Frontier 上开展机器学习训练，报告称实际达到了理论每秒运算次数的 32%–38%。¹ 研究还报告，训练程序的扩展加速比（弱扩展）接近 100%，加速比（强扩展）为 87%–89%。这些结果与（a）、（b）中的情况相比如何？

译注：（c）原文直接用百分数表述 speedup 与 scaled speedup，未在题干中说明这些百分数的归一化基准。

习题 1.8

[10/10/20/20]〈1.10〉 你需要为一个包含 64 个核心的新处理器优化混合应用的性能。处理器上将运行四个应用程序，但它们对资源的需求并不相同。假设系统和应用程序具有图 1.29 所列的特征。你可以针对图中彼此独立的 A–D 场景中的任意一个或全部场景求解。图中的资源占比表示：如果四个应用程序（1–4）全部串行运行，每个应用程序的执行时间在总执行时间中所占的比例。假设将程序的一部分按 X 倍并行化，这一部分的加速比就是 X。

a. [10]〈1.10〉 与串行运行相比，让应用程序 1 使用整个处理器运行，能获得多大加速比？

b. [10]〈1.10〉 与串行运行相比，让应用程序 4 使用整个处理器运行，能获得多大加速比？

c. [20]〈1.10〉 按照应用程序 1 所需资源的比例，将相同比例的核心静态分配给它。如果只有应用程序 1 并行运行，其余应用程序仍串行运行，总体加速比是多少？

d. [20]〈1.10〉 如果按照四个应用程序各自的资源需求比例，分别为它们静态分配一定数量的核心，并让它们全部并行运行，总体加速比是多少？

习题 1.9

[10/10/20/20]〈1.7〉 设计服务器时，可用性是最重要的考虑因素，紧随其后的是可扩展性和吞吐量。

a. [10]〈1.7〉 一个单处理器的 FIT 值为 100。该系统的平均失效前时间（MTTF）是多少？

b. [10]〈1.7〉 如果需要一天才能使系统恢复运行，其可用性是多少？

c. [20]〈1.7〉 假设政府为降低成本，计划用廉价计算机构建超级计算机，而不采用价格昂贵、可靠性高的计算机。包含 1000 个处理器的系统，其 MTTF 是多少？假设其中一个处理器失效，整个系统就会失效。

d. [20]〈1.7〉 最大的超级计算机可以包含 10,000 个甚至更多节点，每个节点又有多个处理器或加速器。如果系统共有 50,000 个处理器，且可靠性特征与上述相同，其 MTTF 是多少？在这种情况下，在发生一次失效之前，我预计能够完成的作业，其最长运行时间是多少？

习题 1.10

[20/20/20]〈1.2、1.7〉 在云服务提供商使用的这类服务器集群中，单个设备失效不会使整个系统崩溃，而是减少系统在任一时刻能够响应的请求数。

a. [20]〈1.7〉 如果一家公司有 10,000 台计算机，每台计算机的 MTTF 为 35 天，只有在 1/3 的计算机失效时才发生灾难性的系统失效，那么系统的 MTTF 是多少？

b. [20]〈1.2、1.7〉 假设停机每小时造成 100,000 美元损失，系统崩溃后需要一天才能恢复运行。每年因停机造成的损失是多少？

c. [20]〈1.2、1.7〉 假设停机每小时造成 100,000 美元损失，系统崩溃后需要一天才能恢复运行。如果每台计算机额外投入 1000 美元，就能使 MTTF 翻倍，这是否是一个好的商业决策？假设计算机的使用寿命为三年。

案例三：计算机系统的能耗与功率

本案例涉及的概念：

• 动态能耗
• 功耗

现代系统的功耗取决于多种因素，包括芯片的时钟频率、效率和电压。以下习题探讨不同设计决策及使用场景对功率和能耗的影响。

习题 1.11

[10/10/10/10]〈1.5、1.9〉 手机承担的任务差异很大，包括播放流媒体音乐或视频、阅读电子邮件，以及日益增多的图像识别、语音识别等机器学习任务。用户要求手机具备较长的电池续航时间，因此降低功率和能耗至关重要。

本题考虑一个不符合现实的场景：手机没有专用处理单元，只配备一个四核通用处理单元。每个核心满负荷运行时消耗 0.5 W 功率。对于要完成的任务，这个四核处理器的速度是所需速度的八倍。

a. [10]〈1.5〉 与满功率运行相比，需要多少动态能量和动态功率？先假设四核处理器只运行 1/8 的时间，其余时间空闲，即在 7/8 的时间内关闭时钟，并假定这段时间内没有漏电。比较总动态能耗，以及核心运行期间的动态功率。

b. [10]〈1.5〉 如果采用频率和电压调节，需要多少动态能量和动态功率？假设在整个期间内，频率和电压都降至原来的 1/8。

c. [10]〈1.5、1.9〉 现在假设电压不能降到原电压的 50% 以下。这个电压称为电压下限（voltage floor）；低于该电压，状态就会丢失。因此，频率可以继续下降，电压却不能继续下降。在这种情况下，动态能耗和动态功率分别能节省多少？

d. [10]〈1.5〉 采用 dark silicon（暗硅）方案时，会消耗多少能量？这种方案为每项主要任务设置专用 ASIC 硬件，并在不使用时通过电源门控将其关闭。芯片只保留一个通用核心，其余面积都用于专用单元。对于电子邮件这类任务，通用核心运行 25% 的时间，在其余 75% 的时间内通过电源门控完全关闭。在这 75% 的时间内，一个能耗仅为通用核心 20% 的专用 ASIC 单元运行，完成语音识别等任务。

习题 1.12

[10/10/10]〈1.5〉 如习题 1.11 所述，手机会运行各种各样的应用程序。这里沿用之前的假设：每个核心的功率为 0.5 W。

a. [10]〈1.5〉 假设 80% 的代码可以并行化。要使单个核心达到四路并行代码的执行速度，其频率和电压需要提高多少？

b. [10]〈1.5〉 在（a）中采用频率和电压调节，能够减少多少动态能耗？

译注：（a）原文要求提高单核的频率与电压，（b）仍使用“减少动态能耗”（reduction in dynamic energy）的问法。题干并不保证计算所得一定是节能。

c. [10]〈1.5〉 采用 dark silicon 方案时，会消耗多少能量？这种方案对所有硬件单元使用电源门控，使其可以完全关闭，且不产生漏电。系统提供专用 ASIC，以通用处理器 20% 的功率完成相同的计算。假设每个核心都支持电源门控，图像识别这类任务需要两个 ASIC 和两个核心。与使用四个核心并行运行的基准方案相比，需要多少动态能量？

习题 1.13

[10/10/10/10/10/20]〈1.5、1.9〉 通用处理器针对通用计算进行优化，因此能在大量应用程序上表现良好。不过，一旦把应用领域适当缩小，经过优化的功能单元或专用处理器就可以更加高效。借助 ASIC 或 GPU 等专用硬件，许多机器语言操作能够并发执行。本题从性能和散热两方面，探讨通用处理器与 GPU 之间的权衡。如果不能有效地将热量从计算机中排出，风扇吹回计算机的就会是热风，而不是冷风。

注意：两种方案的区别不只在处理器，片上存储器和 DRAM 也会产生影响。因此，这里的统计数据针对系统，而不是芯片。

译注：图 1.31 的原表没有注明吞吐量的单位，译表不作补充。

a. [10]〈1.9〉 如果一个数据中心使用 CPU 时，有 70% 的时间运行工作负载 A，30% 的时间运行工作负载 B，那么 GPU 系统相对于 CPU 系统的加速比是多少？

b. [10]〈1.9〉 如果一个数据中心使用 CPU 时，有 70% 的时间运行工作负载 A，30% 的时间运行工作负载 B，那么三个系统各自能达到最大 IPS 的百分之多少？

c. [15]〈1.5、1.9〉 在（b）的基础上，假设当 IPS 从最大值的 0% 增加到 100% 时，功率从空闲功率线性增加到繁忙时功率。CPU 系统与 GPU 系统的每瓦性能相比如何？

d. [10]〈1.9〉 如果另一个数据中心有 40% 的时间运行工作负载 A，10% 的时间运行工作负载 B，50% 的时间运行工作负载 C，那么 GPU 系统相对于通用处理器系统的加速比是多少？

e. [10]〈1.5〉 假设一个机架冷却门售价 4000 美元，能够排出 14 kW 的热量。热量只是排到了机房内，要将其排出机房还需额外投入。按照图 1.30 和图 1.31 中的 TDP，一个冷却门能为多少台基于 CPU 或基于 GPU 的服务器散热？

f. [20]〈1.5〉 典型服务器集群每平方英尺最多能够散去 200 W 热量。已知一个服务器机架占用 11 平方英尺，包括前后预留空间，那么（e）中的服务器在一个机架内最多能放多少台？需要多少个冷却门？

译注：原文（b）写“三个系统”，但图 1.30、1.31 只列出 CPU、GPU 两类系统；（e）引用两幅图的 TDP，但 TDP 只列于图 1.30。题首第三项难度标记为 [10]，而（c）标为 [15]。以上均保留原书差异。

习题

习题 1.14

[15/10]〈1.9〉 假设我们对一台计算机作了改进，使某种执行模式的速度提高到原来的十倍。测量启用改进模式之后的执行时间，发现其中有 50% 的时间使用了这种改进模式。注意，Amdahl 定律所需的是：在改进前的原始执行时间中，能够使用改进模式的那一部分所占的比例。因此，不能直接将测得的 50% 代入 Amdahl 定律计算加速比。

a. [15]〈1.9〉 这种快速模式带来的总体加速比是多少？

b. [10]〈1.9〉 原始执行时间中有百分之多少被转换成了快速模式？

习题 1.15

[20/10/10/15]〈1.9〉 假设我们考虑改进一个基于 chiplet 的多核处理器，用一个加密硬件 chiplet 替换一个计算核心 chiplet。执行加密操作时，它的速度是正常执行模式的 20 倍。定义“加密占比”为：原始执行时间中用于加密操作的时间比例。

a. [20]〈1.9〉 绘制加速比随加密计算占比变化的曲线。纵轴标注“净加速比”，横轴标注“加密占比”。

b. [10]〈1.9〉 加密占比达到多少时，增加加密硬件能获得 2 倍加速比？

c. [10]〈1.9〉 如果获得了 2 倍加速比，在新的执行时间中，加密操作占多少比例？

d. [15]〈1.9〉 假设失去一个计算核心 chiplet 会使其他计算的性能下降 10%。加密单元的使用比例至少达到多少，才值得这样做？

习题 1.16

[20/20/15]〈1.9〉 对处理器的一部分进行优化时，常常会出现这样的情况：一种指令加快了，其他方面却变慢了。例如，加入一个复杂而快速的浮点单元会占用空间；为了容纳它，可能必须把其他单元移到离中央更远的位置，导致访问那个单元的延迟增加一个周期。基本的 Amdahl 定律方程并没有考虑这种权衡。

a. [20]〈1.9〉 如果新的快速浮点单元使浮点运算的平均速度变为原来的 2 倍，而浮点运算占程序原始执行时间的 20%，忽略对其他指令的影响，总体加速比是多少？

b. [20]〈1.9〉 现在假设加快浮点单元使数据缓存访问变慢，耗时增加到原来的 1.5 倍，即加速比为 2/3。数据缓存访问占执行时间的 10%。此时的总体加速比是多少？

c. [15]〈1.9〉 实现新的浮点运算之后，浮点运算占执行时间的百分之多少？数据缓存访问又占多少？

习题 1.17

[10/10/20/20]〈1.5〉 云计算提供商等机构的服务器集群，必须提供足以应对一天中请求率峰值的计算能力。假设这些服务器在大多数时间里只使用 60% 的容量。进一步假设功率不会随负载线性变化：服务器在 60% 容量下运行时，仍消耗最大功率的 90%。虽然可以关闭一部分服务器，但负载增加时，重启需要的时间太长。现在有人提出一种新系统，可以快速重启，不过处于这种“最低维持运行”状态时，仍需消耗最大功率的 20%。

a. [10]〈1.5〉 关闭 40% 的服务器，能节省多少功率？

b. [10]〈1.5〉 让 40% 的服务器进入“最低维持运行”状态，能节省多少功率？

c. [20]〈1.5〉 将电压降低 20%、频率降低 20%，能节省多少功率？

d. [20]〈1.5〉 让 20% 的服务器进入“最低维持运行”状态，再关闭 20% 的服务器，能节省多少功率？

习题 1.18

[10/10/10/10/5]〈1.5〉 对于必须在规定截止时间前完成任务的实时系统，更早完成计算并没有额外收益。考虑一个物联网系统，即使在最坏情况下，执行所需代码的速度仍是必要速度的两倍。

a. [10]〈1.5〉 如果按当前速度执行，并在计算完成后关闭系统，能节省多少能量？

b. [10]〈1.5〉 如果把电压和频率都降为原来的一半，能节省多少能量？

c. [10]〈1.5〉 考虑另一个物联网系统：核心数多 50%，功率高 30%。如果按当前速度执行，并在计算完成后关闭系统，其能耗与（a）相比如何？

d. [10]〈1.5〉 仍考虑这个核心数多 50%、功率高 30% 的物联网系统。如果将电压和频率都降为原来的三分之一，其能耗与（c）相比如何？

e. [5]〈1.5〉 是否值得使用核心数更多的这个物联网系统？为什么？

习题 1.19

[10/15/15/10/10]〈1.4、1.5〉 体系结构设计者面临的一个挑战是：今天完成的设计，要经过数年的实现、验证与测试才能上市。这意味着设计者必须提前数年预测技术的发展状况，而这种预测有时很难做。

a. [10]〈1.4〉 按照 Moore 定律在历史上体现出的器件缩放趋势，2030 年一颗芯片上的晶体管数应该是 2020 年的多少倍？

b. [15]〈1.5〉 性能提升曾经与这一趋势相吻合。如果性能继续按 20 世纪 90 年代的速度增长，那么到 2030 年，芯片的性能大约应是 VAX-11/780 的多少倍？

c. [15]〈1.5〉 如果按 2010 年代末至 2020 年代初的增长速度计算，对 2030 年性能的较新预测是多少？

d. [10]〈1.4〉 什么因素限制了时钟频率的增长？体系结构设计者现在怎样利用额外的晶体管来提高性能？

e. [10]〈1.4〉 DRAM 容量的增长也放缓了。曾经连续 20 年，DRAM 容量每年提高 60%。如果 8 Gb DRAM 于 2014 年首次出现，而 16 Gb DRAM 到 2019 年才出现，那么这一阶段 DRAM 容量的年增长率是多少？

习题 1.20

[10/5/10/5/10]〈1.2〉 本题通过考察图 1.22 中两种相近的服务器配置，探讨计算机系统的总拥有成本（TCO）。

a. [10]〈1.2〉 假设两台服务器的工作负载都由 70% 的整数运算和 30% 的浮点运算组成。根据图 1.22 中各服务器的 SPEC 整数与浮点吞吐率，哪一台性能更好？

b. [5]〈1.2〉 根据（a）的结果，两台服务器在该工作负载下的性价比如何？

c. [10]〈1.2〉 假设两台服务器都在 60% 的时间里处于繁忙状态，其余时间空闲。繁忙时消耗电源额定功率上限的 90%，空闲时仅消耗上限的 30%。每台服务器一年的能耗是多少？

d. [5]〈1.2〉 假设连续使用 1 W 功率一年的费用为 1 美元。根据（c）的结果，每台服务器每年的用电费用是多少？

e. [10]〈1.2〉 假设服务器使用寿命为五年，把购置成本与每年用电费用都考虑在内，每年的成本各是多少？如果使用寿命改为六年或七年，结果会怎样变化？每台服务器整个使用寿命内的总成本是多少？

译注：原文（c）将一年内的消耗称为 power，此处按量纲译为“能耗”；（d）的条件是每瓦持续使用一年的费用，不是每瓦时的电价。

参考文献

1. Barroso, L., Hölzle, U., Ranganathan, P., 2019. The Datacenter as a Computer: Designing Warehouse-Scale Machines. Springer Nature.
2. Jouppi, N., Kurian, G., Li, S., Ma, P., Nagarajan, R., Nai, L., Patil, N., Subramanian, S., Swing, A., Towles, B. Young, C., Patterson, D. “TPU v4: An optically reconfigurable supercomputer for machine learning with hardware support for embeddings.” In Proceedings of the 50th Annual International Symposium on Computer Architecture. June 2023.
3. Norrie, T., Patil, N., Yoon, D.H., Kurian, G., Li, S., Laudon, J., Young, C., Jouppi, N., Patterson, D., 2021. The design process for Google’s training chips: TPU v2 and TPU v3. IEEE Micro 41 (2), 56–63.
4. Patterson, D., Gonzalez, J., Holzle, U., Le, Q., Liang, C., Munguia, L.-M., Rothchild, D., So, D., Texier, M., Dean, J., 2022. The carbon footprint of machine learning training will plateau, then shrink. Computer 55 (7), 18–28.
5. Patterson, D., Bennett, J., Bennett, M., Chelin, H., Harris, D., Hellar, J., Jones, W., Moron, K., Savani, P., Shepherd, R., Simar, R., Suskind, Z., Wallentowitz, S., 2025. Emebnch IOT 2.0 and DSP 1.0: Modern Embedded Computing Benchmarks. IEEE Computer. In press.

2 存储层次结构设计

理想情况下，人们希望存储容量可以无限大，使任何一个……字都能立即取得……我们……不得不考虑构建一种存储层次结构：其中每一级的容量都比前一级更大，但访问速度更慢。

——A. W. Burks、H. H. Goldstine 与 J. von Neumann，Preliminary Discussion of the Logical Design of an Electronic Computing Instrument（1946）

原章 DOI：10.1016/B978-0-443-15406-5.00002-X。原章版权标记：© 2026 Elsevier Inc.，保留所有权利，包括文本与数据挖掘、AI 训练及类似技术的相关权利。

2.1 引言

计算机先驱们正确地预见到，程序员会希望拥有无限多的高速存储器。满足这一愿望的一种经济办法，就是利用局部性以及不同存储技术在性价比上的权衡，构建存储层次结构。第 1 章介绍的局部性原理指出，大多数程序并不会均匀地访问所有代码或数据。局部性既体现在时间上，即时间局部性，也体现在空间上，即空间局部性。再结合这样一条准则——在实现技术和功率预算既定时，规模更小的硬件可以做得更快——便形成了由不同速度、不同容量的存储器组成的层次结构。图 2.1 展示了几种多级存储层次结构，以及典型的容量和访问速度。随着 Flash 和下一代存储技术在每比特成本上不断缩小与磁盘的差距，这些技术很可能会越来越多地取代磁盘，成为辅助存储。图 2.1 表明，它们已经用于许多个人计算机，并越来越多地用于服务器，因为它们在性能、功耗和密度方面具有显著优势。

高速存储器更昂贵，因此，存储层次结构分成若干级：每一级都比离处理器更远的下一级容量更小、速度更快、每字节价格更高。目标是让整个存储系统的每字节成本接近最便宜的一级，而速度接近最快的一级。在大多数情况下，但并非所有情况下，下一级所含的数据是相邻上一级数据的超集。这称为包含性（inclusion property）。对于缓存，这一性质通常由主存维持；对于虚拟内存，则通常由磁盘或 Flash 等辅助存储维持。

随着处理器性能提高，存储层次结构的重要性也在增加。图 2.2 将单核性能的变化与主存访问时间的历史改进情况进行了比较。处理器曲线表示单个核心平均每秒发出的内存请求数的增长，也就是两次访存间隔的倒数；存储器曲线表示每秒 DRAM 访问次数的增长，也就是 DRAM 访问延迟的倒数，假设只有一颗 DRAM 和一个存储体。实际情况更加复杂：处理器请求速率并不均匀，处理器往往包含多个核心，而存储系统通常有多个 DRAM 存储体和通道。尽管访问时间的差距多年来大幅扩大，但单个处理器的性能已难以显著提高，因此，处理器与 DRAM 之间差距扩大的速度也有所放缓。

高端处理器具有多个核心，其带宽需求因而高于单核。虽然近年来单核带宽的增长放慢，但随着核心数增加，CPU 的内存需求与 DRAM 带宽之间的差距仍在扩大。Intel Core i9 12900 这样的现代高端桌面处理器，每个核心在每个时钟周期内可以产生四次数据访存。

图 2.1（续）。 离处理器越远，下一级存储器就越慢、容量越大。注意，对于磁盘，时间单位从皮秒变为毫秒，相差 $10^9$ 倍；容量单位从数千字节变为数十 TB，相差 $10^{10}$ 倍。如果把仓库级计算机也纳入，而不仅仅考虑服务器，容量尺度还会增加三到六个数量级。PMD 完全采用由 Flash 构成的固态硬盘（SSD），笔记本和台式机也大量使用 SSD。许多台式机的主要存储系统是 SSD，而扩容和备份主要使用硬盘（HDD）。同样，许多服务器混合使用 SSD 与 HDD。HDD 正越来越多地主要用于备份和归档。

图内术语：Registers＝寄存器；L1/L2/L3 Cache＝一级/二级/三级缓存；Memory＝主存；Storage＝存储设备；Memory bus＝内存总线；I/O bus＝I/O 总线；Disk storage＝磁盘存储；Flash storage＝Flash 存储；reference＝访问；Size＝容量；Speed＝访问时间；Laptop＝笔记本；Desktop＝台式机。ps、ns、μs、ms 分别为皮秒、纳秒、微秒和毫秒。图中各级容量及时间照录原图。

译注（图 2.1）： PMD 的 L1 容量在原页中确实印为“0 KB”。

对于八个核心、平均时钟频率为 3 GHz 的 i9，数据访存峰值可达每秒 1920 亿次，每次 128 bit；此外，取指需求峰值约为每秒 480 亿次，每次同样为 128 bit。总需求带宽峰值达到惊人的 3840 GiB/s！¹ 实现如此高的带宽，靠的是缓存的多端口设计和流水线化；采用三级缓存，其中每个核心私有前两级，共享 L3；以及在第一级分别设置指令缓存和数据缓存。相比之下，采用两个内存通道的单总线 DDR5 主存，其峰值带宽仅为需求带宽的 2%，即 56 GiB/s。HBM 的访问时间更短、带宽更高，见 2.2 节和 2.3 节。

传统上，存储层次结构设计者主要优化平均访存时间，它由缓存访问时间、未命中率和未命中开销决定。近来，功耗也成为主要考虑因素。高端微处理器可能拥有 60 MiB 甚至更多的片上缓存，多芯片插槽中的缓存容量则可能达到 1 GiB。大型二级或三级缓存在不工作时会因漏电消耗相当多的功率，称为静态功耗；执行读写时还会消耗工作功率，称为动态功耗，见 2.3 节。PMD 处理器面临的问题更加突出，因为其中 CPU 的设计不那么激进，功率预算可能只有前者的 1/20–1/50。

图 2.2（续）。 2017 年年中，AMD、Intel 和 NVIDIA 都宣布了采用不同版本 HBM（高带宽内存）技术的芯片组，图中未包含该技术。要表现处理器与 DRAM 性能差距的规模，纵轴必须使用对数坐标。存储器的基准是 1980 年的 64 KiB DRAM；到 2015 年为止，按延迟衡量的性能每年提高到前一年的 1.07 倍，见图 2.4，过去五年则基本没有改善。 处理器曲线假设：1986 年以前，每年提高到前一年的 1.25 倍；此后到 2000 年，每年为 1.52 倍；2000–2005 年为 1.20 倍；2005–2015 年，按每核心计的处理器性能只有小幅改善。可以看到，2010 年以前，DRAM 访问时间的改进缓慢但持续；2010 年以后，与早期相比，访问时间的改进幅度减小了，不过带宽仍在持续提高。更多信息见第 1 章图 1.1。

图内术语：Performance＝性能；Processor＝处理器；Memory＝存储器；Year＝年份。

在这些情况下，缓存可能占总功耗的 25%–50%。因此，设计者必须同时权衡性能与功耗，本章也将同时讨论这两个方面。

存储层次结构基础：简要回顾

处理器与存储器之间的性能差距不断扩大，重要性日益提高，存储层次结构的基础知识因而已经进入计算机体系结构的本科课程，甚至进入操作系统和编译原理课程。因此，我们先简要回顾缓存及其工作方式；本章的大部分内容则介绍更先进的创新技术，以应对处理器与存储器之间的性能差距。

当缓存中找不到某个字时，必须从层次结构的下一级——可能是另一层缓存，也可能是主存——取回这个字并放入缓存，然后才能继续执行。为了提高效率，一次搬移多个字，组成一个块（block），也称行（line）；而且，由于空间局部性，这些字很可能很快就会用到。每个缓存块都包含一个标签（tag），用于指明它对应哪个内存地址。

一项关键设计决策是：块或行可以放在缓存的什么位置。最常用的方案是组相联（set associative），其中，一个组由缓存中的若干块组成。先把块映射到一个组，再将它放在该组中的任意位置。查找时，先根据块地址找到对应的组，再搜索这个组，通常是并行搜索，以找到所需的块。组由数据地址按下式选择：

如果一组有 $n$ 个块，这种放置方式就称为 $n$ 路组相联。相联度的两个极端各有专名。**直接映射缓存（direct-mapped cache）**每组只有一个块，因此一个块总是放在同一个位置；**全相联缓存（fully associative cache）**只有一个组，因此一个块可以放在任何位置。

只读数据很容易缓存，因为缓存与内存中的副本完全相同。写操作则更复杂，例如，如何保持两个副本一致？主要有两种策略。直写（write-through）缓存既更新缓存中的数据项，也将写操作传递下去，更新主存。写回（write-back）缓存只更新缓存中的副本；当其中的块即将被替换时，再将其复制回内存。两种策略都可以使用写缓冲区（write buffer）：数据一旦进入缓冲区，缓存即可继续工作，无须等待写入内存的全部延迟。如果写缓冲区中已有其他修改过的块，就可以检查地址，判断新数据的地址是否与某个有效条目的地址匹配；若匹配，就将新数据并入该条目。这种优化称为写合并（write merging），Intel Core i7 等许多处理器都采用它。它对直写缓存更有帮助，因为写回缓存通常一次写回整个块。注意，I/O 设备寄存器往往也映射到物理地址空间。

这些 I/O 地址不能允许写合并，因为彼此独立的 I/O 寄存器不一定像内存中的字数组那样工作。例如，每个 I/O 寄存器可能都要求单独提供地址和数据字，而不能使用一个地址写入多个字。通常通过给页面设置属性，要求缓存采用不进行合并的直写方式，以满足这些带有副作用的访问要求。

衡量不同缓存组织收益的一项指标是未命中率（miss rate），即缓存访问中未命中的比例，也就是未命中次数除以访问总次数。

为了深入理解高未命中率的原因，进而改进缓存设计，三个 C 模型将未命中分成三类：

• 强制性未命中（compulsory miss）：第一次访问某个块时，它不可能已经位于缓存中，因而必须把它取入缓存。即使缓存容量无限大，这类未命中仍然会发生。
• 容量未命中（capacity miss）：如果缓存容纳不下程序执行期间所需的全部块，就会因块被丢弃后又重新取入，而在强制性未命中之外产生容量未命中。
• 冲突未命中（conflict miss）：如果块放置策略不是全相联，就可能有多个块映射到同一组。在对这些块的访问交错发生时，某个块可能被丢弃后又重新取入，从而在强制性和容量未命中之外产生冲突未命中。

第 24 页的图 B.8 按三个 C 给出了各类缓存未命中的相对频率。² 如附录 B 所述，三个 C 模型是概念模型，它揭示的规律通常成立，但并不是解释每一次具体访问行为的决定性模型。

第 3 章和第 5 章将说明，多线程和多核给缓存增加了复杂性：它们既可能增加容量未命中，也带来第四个 C，即一致性未命中（coherency miss）。在多处理器中，为使多个缓存保持一致，缓存的刷新操作会引发这类未命中。第 5 章将讨论这些问题。

不过，未命中率可能由于多种原因产生误导。因此，一些设计者更愿意衡量每条指令的未命中次数，而不是每次访存的未命中次数，也就是未命中率。两者的关系为：

这项指标常写成每 1000 条指令的未命中次数，以便用整数而不是分数表示。

两种指标都没有计入一次未命中的代价。更好的指标是平均访存时间：

其中，命中时间是在缓存中命中所需的时间；未命中开销是从内存取回并替换缓存块所需的时间，即一次未命中的代价。平均访存时间仍然是间接性能指标；它虽优于未命中率，却不能取代执行时间。第 3 章将介绍，采用推测执行的处理器可以在未命中期间执行其他指令，从而降低实际承担的未命中开销。多线程也能让处理器容忍未命中，而不必被迫闲置，第 3 章会介绍这一技术。我们很快就会看到，要利用这些容忍延迟的技术，缓存就必须能够在处理尚未完成的未命中时，继续为其他请求提供服务。

如果这些内容对你而言是新的，或上述回顾过于简略，请参阅附录 B。它更详细地介绍了同样的基础知识，还给出了真实计算机中的缓存实例及其效果的定量评估。

附录 B 的 B.3 节介绍了六项基本缓存优化，这里简要回顾。附录还用定量实例说明了收益；这里也简要讨论这些取舍对功耗的影响。

增大块以降低未命中率。 最简单的办法是利用空间局部性，增加块大小。较大的块可以减少强制性未命中，但也会增加未命中开销。由于标签数量减少，静态功耗可能略有降低。较大的块也可能增加容量或冲突未命中，尤其是小缓存。选择合适的块大小需要复杂的权衡，取决于缓存容量和未命中开销。

增大缓存以降低未命中率。 减少容量未命中最直接的办法，就是增加缓存容量。缺点是命中时间可能变长，成本和功耗也更高。较大的缓存会同时增加静态和动态功耗。

提高相联度以降低未命中率。 提高相联度显然可以减少冲突未命中，但可能以更长的命中时间为代价。稍后还会看到，相联度也可能增加功耗。

采用多级缓存以降低未命中开销。 一项困难的选择是：让缓存命中足够快，以跟上处理器的高时钟频率，还是让缓存足够大，以缩小处理器访问与主存访问之间的差距？在原有缓存和内存之间再加一级缓存，可以简化这一选择。一级缓存可以足够小，以适应较短的时钟周期；二级或三级缓存则可以足够大，截获许多本来会访问主存的请求。二级缓存更重视减少未命中，因此通常采用更大的块、更大的容量和更高的相联度。多级缓存也比一个合并成整体的大缓存更节能。若 L1、L2 分别表示一级和二级缓存，则平均访存时间可改写为：

如今，从低端 PMD 到高端服务器多核处理器，所有处理器都采用多级缓存，通常有两级或三级。不同层级的设计取舍可能不同，因为需要优化的可能是命中时间，也可能是未命中时间。例如，L1 命中时间至关重要，但**末级缓存（last-level cache，LLC）**的命中时间略有增加，性能通常不那么敏感；LLC 一般是 L2 或 L3。而且，LLC 的未命中开销通常大于 L1。因此，在 L1 中代价过高的优化，在 LLC 中可能是合理的。

让读未命中优先于写，以降低未命中开销。 写缓冲区很适合实现这一优化。不过，它也会引起数据冒险：读未命中所需地址的最新值可能仍在写缓冲区中，即通过内存形成了写后读（RAW）冒险。一种解决办法是在读未命中时检查写缓冲区；如果没有冲突，而且存储系统可用，就让读请求先于写请求发出，以减少未命中开销。大多数处理器都让读优先于写。这一选择对功耗影响很小。

在缓存索引过程中避免地址转换，以缩短命中时间。 缓存必须处理从处理器虚拟地址到访存物理地址的转换；虚拟内存见 2.4 节和 B.4 节。一种常用优化是利用页内偏移来索引缓存，因为这部分在虚拟地址和物理地址中完全相同，详见附录 B 第 B.36 页。这种**虚拟索引、物理标签（virtual index/physical tag）方法会使系统更复杂，并且/或者限制 L1 缓存的容量与结构；但将转换后备缓冲区（translation lookaside buffer，TLB）**访问移出关键路径，收益超过了这些缺点。提高 L1 相联度也能避免这一问题，因为这样会减少缓存索引所需的位数。近期的 Intel 和 ARM 处理器采用了这种办法。

注意，以上六项优化都有潜在缺点，可能使平均访存时间反而增加。

本章其余部分假定读者已熟悉上述内容以及附录 B 的细节。在“融会贯通”一节中，我们将考察两种微处理器的存储层次结构：一种是用于高端台式机或小型服务器的 Intel Core i9 12900，另一种是用于 PMD 的 Arm Cortex-53，它是若干平板电脑和智能手机所用处理器的基础。³ 在每一类中，处理器的预定用途不同，具体设计方法也有明显差异。

虽然 i9 比 Intel 面向移动设备的处理器拥有更多核心、更大缓存，但它们的体系结构相近。面向小型服务器的 i9 系列，以及面向较大型服务器的 Intel Xeon，通常会运行许多并发进程，而且往往服务于不同用户。因此，内存带宽变得更重要，这些处理器会提供更大的缓存和更积极的存储系统设计来提高带宽。

相比之下，PMD 只服务一个用户，操作系统通常较小，多任务较少，即同时运行的应用较少，应用也更简单。PMD 必须同时考虑性能与能耗，因为能耗决定续航时间。在深入讨论更先进的缓存组织与优化之前，需要先了解各种存储技术及其演进方式。

2.2 存储技术与优化

……真正让计算机站稳脚跟的一项发展，是可靠存储器的发明，也就是磁芯存储器。……它成本合理，工作可靠；正因为可靠，才得以逐步扩大容量。（第 209 页）

——Maurice Wilkes，Memoirs of a Computer Pioneer（1985）

本节介绍存储层次结构采用的技术，特别是用于构建缓存和主存的技术，包括 SRAM（静态随机存取存储器，用于缓存）、DRAM（动态随机存取存储器，用于主存）以及 Flash（用于非易失性存储）。最后一种技术用于替代硬盘，不过它基于半导体技术，因而也适合在本节介绍。

缓存未命中时，需要尽快从主存搬移数据，这要求内存具有很高的带宽，原文称高带宽内存（HBM）。可以把组成主存的许多 DRAM 芯片组织成多个存储体（bank）和 rank，或者加宽内存总线，也可以同时采用这两种方法来实现这一带宽。rank 是共同响应同一内存命令的一组 DRAM 芯片。

为了让存储系统跟上现代处理器的带宽需求，创新开始进入 DRAM 芯片内部。本节将介绍芯片内部的存储技术；在讨论各种技术与方案之前，先说明一些术语。**访问时间（access time）**是从发出读请求到所需的字到达之间的时间。注意，Flash 和 DRAM 都支持突发传输，传完整个块所需的时间可能比取得块的第一部分更长。

自 1975 年以来，几乎所有计算机都采用 DRAM 作为主存、SRAM 作为缓存，并把一至三级缓存与 CPU 集成在同一处理器芯片上。如今，所有 PMD 和笔记本，以及大多数台式机，都使用 Flash 而非磁盘；许多服务器则结合使用两者。

SRAM 技术

SRAM 的首字母 S 表示 static，即“静态”。DRAM 电路的动态特性要求读出数据后再将其写回，但只有下一次请求需要访问同一个存储体时，才会看到这一延迟。

SRAM 通常每比特使用六个晶体管，避免读取时扰动所存信息。在待机模式下，SRAM 只需很小的功率就能保持电荷。

早期，大多数桌面和服务器系统都使用独立 SRAM 芯片作为一级、二级或三级缓存。如今，这三级缓存都已集成到处理器芯片上。高端服务器采用 chiplet 时，可以有多达 60 个核心和 100 MiB 以上的缓存；采用堆叠裸片时，则可以超过 100 个核心，缓存达到 1 GB 以上。这类系统通常为每颗处理器芯片配置 256–512 GiB DRAM。大型片上三级缓存的访问时间通常是二级缓存的四至八倍；即便如此，L3 访问时间通常仍不超过 DRAM 的五分之一。

片上缓存 SRAM 的组织宽度通常与缓存块大小一致，标签与各块并列存放，因此可以在一个周期内读出或写入整个块。未命中后把取回的数据写入缓存，或将必须逐出的块写回时，这一能力尤其有用。如果不计组相联缓存的命中检测与选择，缓存访问时间与其中的块数成正比；能耗则同时取决于比特总数和块数：前者影响漏电引起的静态功耗，后者影响访问时的动态功耗。为提高带宽、改善访问时间并降低功耗，许多多级缓存采用分存储体组织，2.3 节将讨论这一主题。

DRAM 技术

早期 DRAM 容量不断增大时，封装必须引出全部必要的地址线，其成本成了问题。解决办法是复用地址线，将地址引脚数减半。图 2.3 给出了 DRAM 的基本组织。先在**行地址选通信号（row access strobe，RAS）期间发送一半地址，再在列地址选通信号（column access strobe，CAS）**期间发送另一半。这些名称来自芯片的内部组织：存储器组成一个矩形阵列，用行和列寻址。

DRAM 的另一个要求来自首字母 D 所表示的 dynamic，即“动态”。为了让每颗芯片容纳更多比特，原文描述为：DRAM 每比特只使用一个晶体管，它实际上起着电容器的作用。¹ 这带来两方面影响。首先，检测电荷的感测线必须先预充电，把电平设在逻辑 0 和 1 的“中间”，从而让单元中少量的电荷足以使感测放大器判定 0 或 1。读取时，一行数据被放入行缓冲区（row buffer），CAS 信号再选择其中一部分，从 DRAM 读出。由于读出一行会破坏其中的信息，当不再需要该行时，必须将它写回。写回可与其他操作重叠，但在早期 DRAM 中，这意味着再次读取新行之前所需的周期时间，会大于读出一行并访问其中一部分所需的时间。

图 2.3（续）。 每个存储体由一系列行组成。发送 Act（Activate，激活）命令，会打开一个存储体及其中一行，并将该行装入行缓冲区。随后，可以连续提供列地址，按 DRAM 的接口宽度传输数据，DDR4 通常为 4、8 或 16 bit；也可以指定块传输及起始地址。Precharge（Pre，预充电）命令关闭该存储体和行，为下一次访问做好准备。每条命令以及块传输都与时钟同步，参见下面关于 SDRAM 的讨论。根据最初的信号名称，行信号和列信号有时仍分别称为 RAS 和 CAS。

图内术语：Bank＝存储体；Row＝行；Column＝列；Rd/Wr＝读/写；Act＝激活；Pre＝预充电。

此外，在没有读写操作的情况下，单元中的电荷会逐渐泄漏。为避免信息丢失，必须定期**刷新（refresh）**每个比特。幸运的是，只需读出一行再写回，就能同时刷新该行的全部比特。因此，存储系统中的每颗 DRAM 都必须在一定时间窗口内，例如 64 ms，访问每一行。DRAM 控制器和芯片内部都含有定期刷新的硬件。

这一要求意味着，存储系统有时会因向所有芯片发送刷新信号而暂时不可用。一次行刷新需要行激活和预充电，同时把该行写回；因为不必选择列，所需时间大约是取得一个数据项的 2/3，而 DRAM 的每一行都要执行一次。DRAM 的存储阵列在概念上是正方形，因此刷新步骤数通常是 DRAM 容量的平方根。设计者力求将刷新时间控制在总时间的 5% 以下。到目前为止，我们把主存描述得像瑞士列车一样，总能准时交付数据。实际上，SDRAM 的控制器通常位于处理器芯片上，会尽量避免打开新行，并尽可能采用块传输，以优化访问；刷新又增加了一个不可预测的因素。

Amdahl 提出过一条经验法则：内存容量应随处理器速度线性增长，才能维持系统平衡。因此，1000 MIPS 的处理器应配备 1000 MiB 内存。处理器设计者依靠 DRAM 来满足这一需求。过去，他们预期容量每三年增至四倍，或每年增长 55%。不幸的是，DRAM 性能增长慢得多，主要因为行访问时间的缩短幅度较小；它取决于功率限制、单个存储单元的储电能力，以及由此决定的单元大小等因素。深入讨论这些性能趋势之前，需要先介绍 20 世纪 90 年代中期以来 DRAM 的主要变化。

改善 DRAM 芯片内部的性能：SDRAM

很早的 DRAM 就有缓冲区，允许对同一行进行多次列访问，而不必重新访问行；不过，它们采用异步接口，因此每次列访问和传输，都要承担与控制器同步的开销。20 世纪 90 年代中期，设计者在 DRAM 接口中增加时钟信号，使重复传输免于这一开销，由此形成了同步 DRAM（synchronous DRAM，SDRAM）。除减少开销外，SDRAM 还能增加突发传输模式，无须指定新的列地址，就能连续传输多次。例如，把 DRAM 设为突发模式后，无须发送任何新地址，即可连续进行八次或更多的 16 bit 传输。突发传输的引入，使随机访问流与连续数据块访问之间的带宽出现显著差距。

随着 DRAM 密度增加，为取得更高带宽，DRAM 的接口也变得更宽。最初采用 4 bit 传输模式；到 2024 年，DDR DRAM 提供 4、8、16 或 32 bit 总线。21 世纪初又引入了双倍数据率（double data rate，DDR），使 DRAM 能在内存时钟的上升沿和下降沿都传输数据，从而将峰值数据率翻倍。

最后，SDRAM 引入多个存储体，以便管理功耗、改善访问时间，并允许对不同存储体进行交错和重叠访问。不同存储体的访问可以彼此重叠，每个存储体都有独立行缓冲区，因此不同存储体可以同时打开多行。把一颗 DRAM 划分为多个存储体，相当于在地址中新增一部分；此时地址由存储体号、行地址和列地址组成。当地址指定某个存储体中的新行时，必须打开这一行，产生额外延迟。现代内存控制接口完全负责存储体和行缓冲区的管理；如果后续访问指定了已经打开的行，就只需发送列地址，快速完成访问。

开始新访问时，DRAM 控制器先发送存储体号和行号；SDRAM 中称为 Activate，过去称为 RAS，即行选择。该命令打开一行，并将整行读入缓冲区。随后发送列地址，SDRAM 就根据请求类型，传输一个数据项，或执行突发传输。在访问新行之前，必须对存储体预充电。如果下一行仍在同一个存储体中，预充电延迟就会显现；如果位于另一个存储体，则关闭原行及预充电可以与新行的访问重叠。SDRAM 中，每一种命令周期都占整数个时钟周期。

1980–1995 年，DRAM 按 Moore 定律缩放，容量每 18 个月翻一番，即每三年增至四倍。20 世纪 90 年代中期至 2010 年，容量增长放慢，约每 26 个月翻番。再下一次翻番用了六年，即 2010–2016 年，而随后一次直到 2024 年年底才实现！图 2.4 给出了几代 DDR SDRAM 的容量与访问时间。从 DDR1 到 DDR3，访问时间约缩短至原来的三分之一，改善速度约合每年 7%。DDR4 和 DDR5 相比 DDR3 改善了功耗与带宽，但访问延迟相近。

DDR 是一系列标准，如图 2.4 所示。DDR2 将电压从 DDR1 的 2.5 V 降至 1.8 V，以降低功耗，同时提供 266、333 和 400 MHz 的更高时钟频率。DDR3 将电压降至 1.5 V，最高时钟频率为 800 MHz。DDR4 原预计 2014 年推出，实际于 2016 年年初大批量出货；它将电压降至 1.2 V，预计最高时钟频率为 1600 MHz。DDR5 使用 1.1 V 电压，直到 2022 年才达到量产规模；DDR6 看来要到 2025 年才会出现。

随着 DDR 引入，由于访问时间难以改善，存储器设计者越来越关注带宽。更宽的 DRAM、突发传输和 DDR 都推动了内存带宽的快速增长。DRAM 通常以小型电路板的形式出售，称为双列直插式内存模块（dual inline memory module，DIMM），包含 4–16 颗 DRAM 芯片。在桌面和服务器系统中，通常组织为 8 字节宽，另加 ECC。容易令人混淆的是，DDR SDRAM 组成 DIMM 后，名称按 DIMM 峰值带宽标注。例如，PC3200 的名称来自 $200\ \mathrm{MHz}\times2\times8$ 字节，即 3200 MiB/s，其中装有 DDR SDRAM 芯片。² 芯片本身又按每秒比特数而不是时钟频率命名，使混淆进一步加重；因此，200 MHz 的 DDR 芯片称为 DDR400。图 2.5 展示了 I/O 时钟频率、每颗芯片每秒传输次数、芯片带宽、芯片名称、DIMM 带宽和 DIMM 名称之间的关系。

图 2.4（续）。 访问时间针对随机地址处的一个字，假定必须打开新行。如果该行位于另一个存储体，假定该存储体已预充电；如果行尚未打开，则需要预充电，访问时间更长。随着存储体数量增加，隐藏预充电时间的能力也增强了。DDR4 原预计 2014 年推出，但直到 2016 年年初才开始量产。DDR5 最初容量与 DDR4 相同，但到 2024 年，每芯片密度已达到后者的四倍。

图 2.5（续）。 注意各列的数值关系：第三列为第二列的两倍；第四列把第三列的数字用于 DRAM 芯片名称；第五列为第三列的八倍，DIMM 名称则采用该数字的舍入值。DDR5 在 2022 年首次得到较大规模的应用。

译注（图 2.5）： 原表最后一行的 DRAM 名称确实为“DD5-4800”，不是文本提取漏字；此处照录。21,300 等数值和 MiB/s 单位也按原表保留。

降低 SDRAM 功耗

动态存储芯片的功耗包括读写时的动态功耗，以及静态或待机功耗，两者都取决于工作电压。DDR5 SDRAM 的工作电压降到 1.1 V，较 DDR4 略有改善，较 DDR3 则约降低 25%。增加存储体也降低了功耗，因为一次只需读取一个存储体中的一行。

此外，所有近代 SDRAM 都支持低功耗模式（power-down mode），通过通知 DRAM 忽略时钟进入该模式。除内部自动刷新之外，SDRAM 的其他功能都被禁用；若不保留刷新，低功耗状态一旦持续超过刷新间隔，内存内容就会丢失。图 2.6 展示了 2 GB DDR3 SDRAM 在三种状态下的功耗。从低功耗模式恢复的确切延迟因芯片而异，典型值为 200 个 SDRAM 时钟周期。另有面向便携设备的低功耗 DDR，即 LPDDR1–5。它们供电电压更低、时钟更快，但每个通道允许连接的芯片更少，且芯片直接连接 CPU，而不是放在 DIMM 上。

图形数据 RAM，即 GDRAM（GDDR1–6），基于 SDRAM，但接口更宽、时钟更快，因此带宽为其 2–5 倍。较高时钟频率限制了每个通道可连接的 GDRAM 数量，并要求像 LPDDR 一样直接连接。到 2024 年，GDRAM 正被采用 HBM 的新设计取代，下一部分将介绍 HBM。

图 2.6（续）。 典型模式中，DRAM 有 30% 的时间执行读操作，15% 执行写操作；读写都假设采用八次传输组成的突发。数据基于 Micron 的 1.5 V、2 GB DDR3-1066。DDR4 和 DDR5 也能按类似比例节省功耗，而且由于工作电压较低，功耗还降低了 30%–40%。近期 DDR5 DRAM 可以在 DIMM 层面管理功耗，并提供更深的关闭模式，以进一步节能。

图内术语：Power in mW＝功耗，单位 mW；Low power mode＝低功耗模式；Typical usage＝典型使用；Fully active＝完全活动；Background power＝背景功耗；Activate power＝激活功耗；Read, write, terminate power＝读、写及终端匹配功耗。

这些改进降低了 DRAM 功耗，但无论访问时间还是功耗，片外访问的代价仍占主导。例如，图 2.1 中，片外 DRAM 的访问时间是小型 L1 的 50–100 倍，是大型 L3 的 5–10 倍。能耗的比例也类似：片外 DRAM 访问约为小型 L1 的 100 倍、大型 L3 的 10–20 倍。片外访问较长的延迟和较高的能耗，共同推动了大型 LLC 的使用，以及改善其性能的各种技术。

封装创新：堆叠或嵌入式 DRAM、SRAM

DRAM 最近的一项创新来自封装，而非电路：把多颗 DRAM 堆叠起来，与处理器放在同一封装中。“嵌入式 DRAM”一词也可指把 DRAM 直接放到处理器芯片上的设计。将二者共同封装，缩短了 DRAM 与处理器之间的传输延迟，因而降低访问延迟；还可以采用更多、更快的连接，提高带宽。这种技术称为高带宽内存（high bandwidth memory，HBM）。

主要做法是通过带有互连的基板，即中介层（interposer），将 DRAM 堆叠在 CPU 旁边，并装入同一封装。假定 CPU 有多个内存通道，可以在四边各放一组，共四组，每组最多堆叠八颗 DRAM。采用专用 SDRAM 和四组堆叠，这样一个封装可包含 32 GiB 内存，数据传输率可达 4 TB/s。

因为芯片必须专为堆叠制造，早期用途大多集中于高端服务器、GPU 和领域专用体系结构（DSA）。图 2.7 展示了中介层方案，以及将芯片直接堆叠在处理器之上的另一种结构。图中的 3D 结构面临散热和电气噪声方面的挑战；到目前为止，垂直堆叠的唯一用途，是将用作 L3 的 SRAM 放在处理器之上。

图 2.7（续）。 2.5D 形式已经广泛采用，可容纳最多四组堆叠，每组八颗 DRAM。AMD Genoa 芯片组目前采用 3D 堆叠，在每个裸片上堆叠一颗 SRAM，使一个 96 核 chiplet 上可以支持最多 1 GB 的 L3 缓存。³

图内术语：Vertical stacking (3D)＝垂直堆叠（3D）；Interposer stacking (2.5D)＝中介层堆叠（2.5D）；Interposer＝中介层；xPU 为原图对处理器的泛称。

对于一些应用，封装内部可能容纳足够的 DRAM，满足全部需求。例如，一种作为专用集群节点的 NVIDIA GPU 正在采用 HBM 开发，而对于高端应用，HBM 很可能成为 GDDR5 的后继技术。有时可以直接将 HBM 用作主存，尽管成本限制和散热问题目前仍使它不适合某些嵌入式应用。下一节将讨论将 HBM 用作额外一级缓存，或额外主存单元的可能性。

Flash 存储器

Flash 是 EEPROM（电可擦除可编程只读存储器）的一种，通常只读，但可以擦除。另一项关键性质是，无须供电也能保持内容。这里着重介绍 NAND Flash：其密度高于 NOR Flash，更适合大容量非易失性存储；缺点是访问按顺序进行，写入也较慢，下面将说明。

Flash 在 PMD 和大多数台式机中作为辅助存储使用，与磁盘在服务器中的作用相同。此外，多数 PMD 的 DRAM 容量有限，因此 Flash 也可能充当存储层次中的一级；它承担这一角色的程度，远高于主存容量可能大 10–100 倍的台式机或服务器。

Flash 的体系结构和性质与标准 DRAM 大不相同，最重要的区别如下。

1. Flash 按顺序读取，且一次读取整页；页大小可能为 512 字节、2 KiB 或 4 KiB。NAND Flash 访问随机地址的首字节时延迟较长，约 25 μs，但可以约 40 MiB/s 的速度提供页内其余数据。相比之下，DDR5 SDRAM 取得首字节约需 40 ns，随后可按 5 GiB/s 传输该行剩余数据。传输 2 KiB 时，NAND Flash 约需 75 μs，而 DDR SDRAM 不到 450 ns，即 Flash 的传输耗时超过 DDR SDRAM 的 150 倍。不过，读取 2 KiB 数据时，Flash 的速度仍是磁盘的 300–500 倍。由此可见，Flash 不适合取代 DRAM 作为主存，但由于每比特成本已经接近磁盘，尤其在较小容量下，已在许多系统中取代磁盘。
2. Flash 必须先擦除才能覆写，flash 这个名称就来自这种“闪速”擦除过程；而且擦除以块为单位，不能单独擦除一个字节或字。因此，写入时必须凑齐整个块，或全部提供新数据，或把待写数据与块内其余内容合并。Flash 的写入速度约为 SDRAM 的 1/1500，但约为磁盘的 8–15 倍。
3. Flash 是非易失性的，即断电仍能保存内容；不执行读写时，功耗显著较低，在待机模式下不到一半，完全不活动时可降为零。
4. Flash 中任一块的写入次数有限，通常至少为 100,000 次。通过把写入均匀分布到整个存储器的各个块，系统可以尽量延长寿命。这种技术称为磨损均衡，原文称 write leveling，由 Flash 控制器负责。
5. 高密度 NAND Flash 比 SDRAM 便宜，但比磁盘贵：Flash 约为每 GiB 0.12–0.20 美元，SDRAM 为每 GiB 5–10 美元，磁盘为每 GiB 0.02–0.05 美元。过去五年，Flash 成本下降的速度几乎是磁盘的两倍。

与 DRAM 类似，Flash 芯片也包含冗余块，使存在少量缺陷的芯片仍能使用；块重映射由芯片内部处理。Flash 控制器负责页面传输、页面缓存和磨损均衡。

高密度 Flash 的快速进步，对低功耗 PMD 和笔记本的发展至关重要；它也显著改变了台式机和大型服务器，前者越来越多地使用 SSD，后者则往往结合磁盘与 Flash 存储。

相变存储技术

**相变存储器（phase-change memory，PCM）**几十年来一直是活跃的研究领域。它通常利用微小的加热元件，使块体衬底在晶态与非晶态之间转换；这两种状态的电阻特性不同。衬底上覆盖着二维网络，每个比特对应其中一个交叉点。读取时检测某个 x 点和 y 点之间的电阻，因而原文也称其为 memristor（忆阻器）；写入时施加电流，改变材料的相态。由于不需要晶体管等有源器件，理论上应能比 NAND Flash 获得更低成本和更高密度。

2017 年，Micron 和 Intel 开始交付基于这一技术的 Xpoint 存储芯片。相比 Flash，PCM 有两个主要优势：随机写性能更好，因为不需要擦除步骤；写入寿命也可能更长。读取延迟则略好于 Flash。由于“谬误与陷阱”一节将讨论的原因，PCM 未能形成发展势头，至少目前已经基本被搁置。

提高存储系统的可信赖性

大型缓存和主存显著增加了制造阶段以及运行期间发生错误的可能性。由于电路本身改变而产生、并且可以重复出现的错误，称为硬错误（hard error）或永久性故障（permanent fault）。它们既可能在制造阶段出现，也可能因运行期间的电路变化而产生，例如 Flash 单元在大量写入后失效。所有 DRAM、Flash 以及大多数 SRAM 在制造时都配有备用行，通过编程，用备用行替换缺陷行，便可容忍少量制造缺陷。运行期间只改变单元内容、没有改变电路本身的错误，则称为软错误（soft error）或瞬态故障（transient fault）。如果没有某种错误检测手段，它们就会成为第 1 章讨论的静默数据错误。

这类动态错误可以用奇偶校验位检测，也可以用**纠错码（error-correcting code，ECC）**检测并纠正。指令缓存只读，因此奇偶校验便足够；大型数据缓存和主存则使用 ECC，同时提供检测和纠错能力。奇偶校验只需增加一个比特，就能检测一串比特中的单比特错误。原文指出，多比特错误会逃过奇偶校验，成为静默错误，因此每个校验位所保护的比特数必须受到限制。⁴ 典型比例为每 8 个数据比特配 1 个校验位。每 64 个数据比特增加 8 个冗余比特的 ECC，可以检测双比特错误并纠正单比特错误。ECC 在 DDR5 中成为标准配置。

在超大规模系统中，多比特错误乃至整颗存储芯片失效的概率都不可忽视。IBM 为此引入 Chipkill，IBM 服务器和 Google 集群等许多超大规模系统都采用了它；Intel 将自己的版本称为 SDDC。其思路与磁盘 RAID 类似：分散存放数据和 ECC 信息，即使一整颗芯片失效，也能利用其余芯片重构丢失的数据。

按 IBM 的一项分析，假设一台服务器有 10,000 个处理器，每个处理器配备 4 GiB 内存，则三年运行期间不可恢复错误的发生情况如下：

• **仅用奇偶校验：**约 90,000 次，平均每 17 分钟出现一次不可恢复或未检出的失效。
• **仅用 ECC：**约 3500 次，平均每 7.5 小时出现一次未检出或不可恢复的失效。
• **采用 Chipkill：**平均每两个月出现一次未检出或不可恢复的失效。

还可以换个角度：要达到上述 Chipkill 系统同样的错误率，最多能够保护多少台各有 4 GiB 内存的服务器？对于奇偶校验，即使只有一个处理器的服务器，其不可恢复错误率也高于由 10,000 台服务器组成、受 Chipkill 保护的系统。对于 ECC，由 17 台服务器组成的系统，其失效率约等于由 10,000 台服务器组成的 Chipkill 系统。⁵ 因此，对于含 50,000–100,000 台服务器的仓库级计算机，Chipkill 是必需的，见第 6 章 6.8 节。

2.3 存储层次结构的十项高级性能优化

前面的平均访存时间公式，给出了缓存优化的三个指标：命中时间、未命中率和未命中开销。考虑到近期发展趋势，再加上缓存带宽与功耗。按照这些指标，可以把本节研究的十项高级存储系统优化分为五类：

1. 缩短命中时间并降低功耗。 小缓存可以同时缩短命中时间、降低功耗，但代价是命中率下降。多个存储体也能缩短命中时间、降低功耗，尤其适用于较大的 L2、L3 缓存。
2. 提高缓存带宽。 包括流水线化 L1、多存储体缓存和非阻塞缓存。它们对功耗的影响各不相同。如果存储系统能支持多个尚未完成的未命中，它们还可能降低未命中开销。
3. 降低未命中开销。 包括关键字优先和写缓冲区合并，对功耗影响很小。采用多个存储体和 HBM，也可以缩短从内存访问一个块的延迟，从而降低未命中开销；无论访问单个块，还是并行访问多个块，都能受益。
4. 降低未命中率。 包括编译器优化与相联度调整。显然，编译时取得的改进也有助于降低功耗。组相联会略微增加命中时间，但能降低未命中率；优化组相联缓存的替换策略，也可能减少未命中。
5. 通过并行性降低未命中开销或未命中率。 包括硬件预取和编译器预取。它们通常会增加功耗，主要原因是预取的数据有一部分最终没有使用。

总体而言，随着我们依次讨论这些优化，硬件复杂度会逐渐增加。其中若干优化还需要先进的编译器技术，一项则依赖 HBM。最后将用图 2.17 汇总这十项技术的实现复杂度与性能收益。 有些技术较为直接，介绍会简短一些；另一些则需要更详细的说明。

第一项优化：采用虚拟索引和组相联的流水线化 L1 缓存

将 L1 流水线化，可以在延迟略有增加的代价下提高时钟频率。例如，20 世纪 90 年代中期，Intel Pentium 的指令缓存访问需要一个时钟周期；从 90 年代中期到 2000 年的 Pentium Pro 至 Pentium III，需要两个周期；2000 年面世的 Pentium 4，以及当前的 Intel i7 和 i9，则需要四个周期。指令缓存流水线化，实际上增加了流水线级数，使分支预测错误的代价更高。类似地，数据缓存流水线化，会增加从发出加载指令到使用数据之间的周期数，见第 3 章。如今，所有处理器都对 L1 进行了某种程度的流水线化，最简单的做法也是分开访问与命中检测；许多高速处理器的缓存流水线则有三级以上。

缓存流水线化后，组相联更容易实现，几乎不增加命中时间，甚至没有额外代价，因此可以提高 L1 命中率。较高相联度还可以避免虚拟索引缓存中的别名问题。

典型的缓存访问流水线可以把访问与命中检测分成四步：

1. 译码地址，得到用于选择缓存字线的地址。
2. 访问指令缓存或数据缓存的 SRAM。
3. 将组内各条目的标签与 TLB 给出的物理标签比较，判断命中或未命中；命中时确定组内的对应条目。
4. 通过多路选择器选出正确的缓存块，将所需的字与块内被访问的部分对齐，并传给 CPU。

在制造芯片之前，可以用 CAD 工具评估命中时间和功耗。CACTI 能估计 CMOS 微处理器中不同缓存结构的访问时间与能耗，其结果与更详细的 CAD 工具相比，误差在 10% 以内。给定最小特征尺寸后，CACTI 根据缓存容量、相联度、读写端口数量及其他更复杂的参数估算命中时间。图 2.8 给出了改变容量和相联度的估算结果。当然，这些估计既依赖工艺，也依赖缓存规模，因此必须使 CACTI 与所用工艺仔细匹配；图 2.8 展示的是某一工艺下的相对取舍。

图 2.8（续）。 数据来自一个新的 CACTI 模型，模拟采用 14 nm、0.8 V 工艺、基于 FIN-FET 的 SRAM，详见 Ravipati et al.（2022）。假定单存储体、64 字节块。缓存布局假设，以及互连延迟与标签检查、多路选择代价之间的复杂取舍，使估算访问时间较高，八路组相联尤其如此；互连延迟也会随路数变化。用于连接缓存块的 H 树布局，可能进一步提高高相联度的估算访问时间，因为需要连接到 H 树的块更多。

图内术语：Access time (ns)＝访问时间（ns）；Cache size＝缓存容量；1-way/2-way/4-way/8-way＝一路/两路/四路/八路。

例：相联度与平均访存时间

问题。 利用附录 B 的图 B.8 和图 2.8，判断 32 KiB 四路组相联 L1 的访存时间，是否短于同容量的两路组相联 L1。假设访问 L2 的未命中开销，是较快 L1 访问时间的 15 倍；忽略 L2 之后的未命中。哪一种平均访存时间更短？

解答。 令两路组相联缓存的访问时间为 1，则原书给出的两路缓存计算为：

四路缓存的访问时间是两路的 1.4 倍。原书将未命中开销对应的时间写为 $15/1.4=10.1$，为简单起见取 10，于是：

显然，更高的相联度看起来不划算；不过，现代处理器的缓存访问通常是流水线化的，因此对时钟周期的确切影响很难判断，较高的相联度可能并不影响周期时间。如果还存在其他缓存优化，这一权衡会更加复杂。

译注： $1+0.038\times15$ 应为 1.57，而非 1.38；$15/1.4$ 约为 10.714，而非 10.1。此外，第二式把以两路命中时间计的 1.4，与按另一时间单位缩放的未命中开销相加，单位不统一。若统一采用两路命中时间为单位，并沿用题设 15 的实际未命中开销，四路结果为 $1.4+0.037\times15=1.955$。

选择缓存容量和相联度时，还要考虑能耗，如图 2.9 所示。从两路增加到四路，能耗会变为原来的 1.1–1.7 倍，具体取决于缓存容量。

图 2.9（续）。 与前图一样，采用相同工艺参数的 CACTI 建模，见 Ravipati et al.（2022）。八路组相联的代价很大，因为必须并行读出八个标签及其对应数据。类似前图，用于布局缓存块的 H 树，可能增加高相联度所需能量的估计值。

图内术语：Picojoules＝皮焦耳（原图拼为 Picojoues）；Cache size＝缓存容量；各路数含义同图 2.8。

能耗日益重要，设计者开始着力减少缓存访问所需能量。除相联度外，另一项关键因素是缓存中的块数，因为它决定了被访问的“行”数。保持总容量不变而增大块，可以减少行数，但可能增加未命中率，尤其是较小的 L1。

**路预测（way prediction）**试图在利用相联度的同时，保持直接映射缓存的命中速度。缓存保留额外比特，预测下一次访问的路，即组内的块。这样就能提前设置多路选择器，选出所需块，并在同一周期内并行读取数据和进行一次标签比较。若未命中，下一周期再检查其余块是否匹配。模拟表明，两路组相联的预测准确率超过 90%，四路组相联超过 80%；指令缓存通常比数据缓存预测得更准。对两路组相联缓存而言，只要路预测能让命中至少快 10%，就能缩短平均访存时间，而达到这一点很可能并不困难。路预测最早用于 20 世纪 90 年代中期的 MIPS R10000，后来广泛用于两路组相联处理器，也用于若干采用四路组相联的 ARM 处理器。对极高速处理器，可能难以实现只停顿一个周期的机制，而这恰恰是控制预测错误代价的关键。

另一种取得部分组相联优势的方法是牺牲缓存（victim cache），即用一个小缓存保存最近逐出的少数缓存行。Jouppi（1990）表明，八个条目的小型牺牲缓存，可以显著降低小型直接映射 L1 的未命中率。如今 L1、L2 更大，提高 L1 相联度并采用预取，效果已超过牺牲缓存。后面将看到，一些近期处理器实际上将 LLC 用作牺牲缓存。

第二项优化：采用多个存储体和端口，提高 L1 数据缓存带宽

处理器每周期能执行的指令数不断增加，设计者也必须增加数据缓存每周期能够接收的加载和存储操作数。早期多发射处理器每周期可以执行一次加载和一次存储；近期处理器则能执行两次加载和两次存储。这要求数据缓存每周期接收四次访问！如 2.5 节所述，指令缓存则利用空间局部性和分支预测，通过前瞻和预取跟上取指需求。

给寄存器堆增加多个读写端口是合理的，但在更大的缓存存储阵列中代价更高。因此，多数设计者选择多个存储体，可能再配上数量有限的多端口。

分存储体最初用于改善主存性能，如今既用于 DRAM 芯片内部，也用于缓存。Intel Core i7 的 L1 数据缓存有四个存储体，以支持每周期最多两次访存；i9 则采用双端口和八个存储体，以应对每周期四次访存的峰值。

显然，访问能够自然分散到不同存储体时，效果最好，因此地址到存储体的映射会影响存储系统行为。一种简单而有效的办法是将连续块地址依次分配到各存储体，称为顺序交错（sequential interleaving）。例如，有四个存储体时，块地址模 4 为 0 的块全部属于存储体 0，模 4 为 1 的属于存储体 1，依此类推。图 2.10 展示了这种组织。

起初你可能认为，即使分了存储体，数据缓存访问仍会发生大量冲突；但有几个因素会减少冲突。首先，其他流水线停顿和缓存未命中会干扰执行，处理器很少能够持续每周期四次访存。其次，即使四次访问同时到达，数据局部性也使其中两次或更多很可能访问同一个块，从而合并为一次缓存访问。

例：存储体冲突概率

问题。 假设有八个存储体和四次访问，访问同一块的请求数分别为一个、两个或三个，求发生冲突的概率。

解答。 如果四次访问分别指向不同的块，那么八个存储体中不发生冲突的概率，就是第 2、3、4 次访问都不落入先前请求已使用存储体的概率：

如果其中两次访问指向同一块，另外两次各自指向不同的块，则这一概率为：

原文接着指出，如果只有两个存储体被访问，冲突概率降至 12.5%（7/8）。存储体发生冲突时，其中一个请求延后处理，其余请求继续执行。

译注： 前两式给出的是“无冲突”概率，41% 和 66% 为舍入值。最后一句原文确实把冲突概率 12.5% 括注为 7/8；其中 7/8＝87.5% 是无冲突概率，冲突概率应为 1/8。

当然，任何一个没有四次访存同时就绪的周期，冲突概率也会降低。双端口同样可以在不必处理冲突的情况下增加带宽。四个存储体均采用双端口时，冲突概率会低很多，因为同一存储体至少收到三个请求才会冲突。

双端口总会增加访问时间，而多个存储体的影响还取决于相联度和缓存容量等因素。提高 L1 带宽的这些方案，在访问时间上有何差异？图 2.11 展示了 CACTI 对 1、2、4 个存储体，分别配备 1、2、4 个端口时的估算。

图内术语：Access time (ns)＝访问时间（ns）；Number of Banks＝存储体数量；Single ported＝单端口；Dual ported＝双端口；Quad ported＝四端口。

例：比较多存储体和多端口

问题。 为简单起见，假设只要发生冲突，就让缓存访问增加 1 ns，即使有四次冲突也一样。使用图 2.11 的数据，假定四次访问同时到达，以下哪种设计的访问时间最短？

• 四个单端口存储体；
• 两个双端口存储体，每个存储体都有双端口；
• 四端口。

解答。 先考虑单端口，冲突概率为：

对于双端口，原文给出的冲突概率为 37.5%，并指出，有兴趣的读者可以检查全部 16 种请求组合，其中只有 6 种会有三个请求命中同一个存储体。因此：

最后，四端口方案只有一个存储体，访问时间为 1.5 ns。按照这些参数及冲突代价，两个双端口存储体的方案最佳。

译注： 双端口段给出的数值为 37.5%、6/16 和 0.875 ns。若四个独立请求等概率映射到两个存储体，发生冲突的是分布为 3+1、1+3、4+0、0+4 的 10 种组合，概率为 62.5%；6/16 则是 2+2、没有冲突的情况。按题设计算，双端口平均时间应为 1.125 ns。单端口式的准确概率为 90.625%，原文作近似。修正概率后，双端口、双存储体仍是三者中较快的方案。

第三项优化：用更好的替换策略降低未命中率

直接映射缓存的替换策略很简单，因为每个块只能去一个位置。相联度提高后，未命中时必须决定替换组内哪个条目。选择得当可以降低未命中率，尤其是相联度较高时，因为可选的块更多。不过，这需要为每个缓存块维护额外状态。L1 的访问占用率很高，很难承担这样的工作，因此常采用随机替换或简单近似。L2、L3 访问占用率较低，未命中开销较高，因此优化替换策略更有意义。

事实上，确实存在最优策略，称为 Belady 的 MIN 策略：替换下一次使用时间最遥远的块。遗憾的是，正如 Yogi Barra 曾说过的：“预测很难，尤其是预测未来。”尽管如此，MIN 既为替换策略设计提供了思考方式，也提供了衡量实际算法的基准。另一种常被提出的方案是 LRU（Least Recently Used，最近最少使用），替换上一次使用时间最久远的块。精确 LRU 很难实现，因为必须维护组内所有块的先后次序。

因此，实际采用更新更简单的伪 LRU或近似 LRU。一种简单方案是 NRU（Not Recently Used，最近未使用）：组内每个条目保留一位，表示该块最近未被使用；每次访问相应条目时，就把这一位清零。未命中时，从 NRU 位为 1 的块中选一个替换；随后除新换入的块外，将所有 NRU 位设为 1。

如果组内多个块的 NRU 位为 1，原文解释为这些块要么全都在近期被访问过，要么全都未被近期访问过，就在组内随机选一个替换。NRU 很容易实现，因为请求匹配到组之后，只需写入一位。它曾用于若干早期 Intel 处理器的 L2 和 LLC，也常用于 L1。

另一种低成本 LRU 近似，是把 NRU 推广为每块多个比特组成的计数器，试图预测哪个块将在最遥远的未来才被再次使用。例如，每块使用一个 2 bit 饱和计数器，原文称为 recently referenced prediction counter。缓存命中时，将该块计数器置零；未命中时，如果有块的计数器值为 3，就替换该块，并把计数器设为 2。数值 2 表示该块可能很快再次使用，也可能不会。如果没有计数器为 3，就把组内所有计数器递增，直到至少一个达到 3，再替换那个块。这一方案的关键，是区分只使用一次的流式访问与反复使用同一块的访问。

Jaleel et al.（2010）模拟了多种引用预测替换策略，包括 NRU、LRU 和上述 2 bit 方案。对于 2 MB、16 路 L2，大致相当于 Intel i7 单个核心的配置，NRU 性能比 LRU 低约 1%，而 2 bit 预测方案高约 5%。在四核、8 MB LLC 的多程序环境中，2 bit 方案的改善为 7%；原因可能是多程序活动使 LLC 中一次性访问更多，而 2 bit 方案比 1 bit 方案更善于处理这种流式访问。还可以推广到 $n$ bit 计数器；随着 $n$ 增加，原文指出，该方案会接近真正的 LRU。像 2 bit 方案那样对计数器赋予不同权重，可以优先保留那些在一次未命中之后至少又命中过一次的块，因为它们较不可能是只访问一次的流式数据。

还有许多更复杂的替换策略，试图比基于 LRU 的方法作出更好的选择，本质上是在模拟工作集行为，类似操作系统对虚拟内存的处理。一些研究取得了显著改善；如果能以足够低的开销实现，并继续优于这些加权近似 LRU 策略，它们可能成为未来 LLC 的候选方案。

第四项优化：采用多存储体 L2、L3，降低功耗与延迟并增加带宽

L1 数据缓存使用多个存储体，主要是为了增加加载/存储带宽；它们也能为非阻塞未命中提供更高的回填带宽，稍后将介绍这一优化。在更大的 L2、L3 中，多个存储体可以像 DRAM 那样降低功耗、缩短延迟，并增加响应非阻塞 L1 或 L2 未命中的带宽。Intel Core i9 的 L2 有八个存储体。

Arm Cortex 处理器则使用过 1–4 个存储体的 L2。Intel 多核处理器将 LLC 分布在各核心之间，因此存储体数量随核心数增加。

第五项优化：用非阻塞缓存提高缓存带宽

对于允许乱序执行的流水线计算机，第 3 章将介绍，数据缓存未命中时，处理器不一定必须停顿。例如，在等待缺失数据返回期间，处理器仍可以从指令缓存继续取指。非阻塞缓存（nonblocking cache），也称 lockup-free cache，允许数据缓存在一次未命中尚未完成时继续服务命中请求，从而扩大这一办法的收益。这种 hit under miss 优化，使处理器在未命中期间仍能做有用的工作，而不必完全停顿，因此降低了实际未命中开销。更精细也更复杂的办法，是让多个未命中相互重叠，进一步降低开销，称为 hit under multiple miss 或 miss under miss。后者只有在存储系统能服务多个未命中时才有益。近期 Intel、AMD 等高性能处理器通常同时支持二者；许多低端处理器则只在 L2 提供有限的非阻塞支持。

Farkas 和 Jouppi（1994）为考察非阻塞缓存降低未命中开销的效果，假设 8 KiB 缓存、14 周期未命中开销，这与 20 世纪 90 年代初相符。他们发现，允许一次未命中期间继续处理命中，可以使 SPECINT92 的实际未命中开销下降 20%，SPECFP92 下降 30%。Li et al.（2011）更新了这项研究，采用多级缓存、更符合当时情况的未命中开销，以及规模更大、要求更高的 SPECCPU2006。研究模型基于 Intel i7 的一个核心，峰值每周期可以产生两次数据访存。图 2.12 显示了原文所称“在一次未命中期间允许 1、2 和 64 次命中”时，数据缓存访问延迟的下降，图注给出了更多存储系统细节。¹ 与早期研究相比，缓存变大并新增 L3，减少了收益：SPECINT2006 平均延迟下降约 9%，SPECFP2006 约 12.5%。

非阻塞缓存未命中并不一定使处理器停顿，因此，很难单独判断某次未命中的影响，也很难计算平均访存时间。实际未命中开销不是各次未命中时间之和，而是处理器停顿期间不能与其他工作重叠的时间。收益取决于多个未命中存在时的开销、访存模式，以及处理器在未命中尚未完成时能执行多少条指令。

一般来说，乱序处理器能隐藏 L1 数据缓存未命中、但 L2 命中时的大部分开销；对于更低层级的缓存未命中，则很难隐藏其大部分开销。

决定支持多少个尚未完成的未命中，要考虑多项因素：

• 未命中访问流的时间和空间局部性，它们决定一次未命中是否会向更低一级缓存或内存发起新访问；
• 响应请求的缓存或内存的带宽；
• 如果处理器在未命中时间最长的末级缓存允许更多未完成请求，则更高层级至少也必须支持同样多，因为未命中从最高一级缓存开始；
• 存储系统的延迟。

图 2.12（续）。 模拟的数据存储系统基于 Intel i7：32 KiB L1，访问延迟四周期；与指令共享的 256 KiB L2，延迟十周期；2 MiB L3，延迟 36 周期。三级均为八路组相联，块大小 64 字节。按原图注，允许一次命中，使整数程序未命中开销降低 9%、浮点程序降低 12.5%；允许第二次，则分别改善至 10% 和 16%；允许 64 次，额外收益很小。

图内术语：Cache access latency＝缓存访问延迟；Hit-under-1-miss、Hit-under-2-misses、Hit-under-64-misses 分别表示存在 1、2、64 个未完成未命中时仍可继续命中。程序名称保持原标识符。

译注： 原图注把右侧 SPECFP 数量写为 9，但图中右侧实际列出 14 个名称。正文和图注的“命中次数”说法，也与图例按“未完成未命中数”区分三种方案的表达不一致。

以下简化例子说明关键思想。

例：需要支持多少个未完成未命中

问题。 主存访问时间为 36 ns，存储系统持续传输率可达 16 GiB/s，块大小为 64 字节。假设请求流足以维持峰值带宽，且访问从不冲突，需要支持的最大未完成未命中数是多少？如果某次访问与前四次之一发生冲突的概率为 50%，且必须等到前一个访问完成后才能执行，估算最大未完成请求数。为简单起见，忽略两次未命中之间的时间。

解答。 第一种情况下，假设能保持峰值带宽，原书将每秒可支持的访问数写为：

每次访问耗时 36 ns，因此可支持：

如果冲突概率大于零，就需要更多未完成请求，因为冲突请求暂时无法开始处理；存储系统需要的是更多独立请求，而不是更少！近似地，可以假定一半访存暂时不必发到内存，因此必须支持两倍的未完成请求，即 18 个。

译注： 原页的第一式确实将指数 9 放在整个括号之外。其给出的 2.5 亿次/秒，对应的是 $16\times10^9/64$，并非 $(16\times10)^9/64$。题设写 GiB/s，计算却采用十进制的 $10^9$ 字节；若严格按 GiB 换算，乘以 36 ns 后约为 9.664 个。

Li、Chen、Brockman 和 Jouppi 的研究发现，整数程序在原文所称“一次”情况下，CPI 下降约 7%，64 次时约下降 12.7%；浮点程序分别下降 12.7% 和 17.8%。这些下降幅度与图 2.12 的数据缓存访问延迟变化很接近。

非阻塞缓存的实现

非阻塞缓存虽然能提高性能，却不易实现。首先面临两类挑战：仲裁命中与未命中的竞争，以及跟踪尚未完成的未命中，以确定加载或存储何时可以继续。

先看第一个问题。阻塞缓存未命中会使处理器停顿，未命中处理完成前，不再出现新的缓存访问；非阻塞缓存中，命中却可能与从下一层返回的未命中数据相冲突。几乎所有近期处理器都允许多个未完成未命中，因此不同未命中的返回也可能冲突。必须解决这些冲突，通常先让命中优先于未命中，再为彼此冲突的未命中确定处理次序。

第二个问题来自对多个未完成未命中的跟踪。阻塞缓存最多只有一个未完成请求，所以始终知道返回的是哪一个；非阻塞缓存很少如此。乍看之下，似乎可以假设按序返回，用简单队列把返回数据与等待最久的请求匹配。但 L1 未命中可能在 L2 命中，也可能在 L2 未命中；若 L2 也非阻塞，返回 L1 的顺序就不一定与原来的发出顺序相同。具有非均匀缓存访问时间，即 NUCA，的多核及其他多处理器系统，也会带来这一复杂性。

未命中数据返回时，处理器必须知道是哪条加载或存储指令引起的，才能让它继续；还必须知道数据应放到缓存哪里，以及该块标签的值。近期处理器通常把这些信息保存在一组**未命中状态处理寄存器（Miss Status Handling Registers，MSHR）**中。如果允许 $n$ 个未完成未命中，就设置 $n$ 个 MSHR。

每个 MSHR 记录数据应放入缓存的位置、相应标签位的值，以及引发未命中的加载或存储指令信息；下一章会介绍如何跟踪这些指令。因此，未命中时先分配一个 MSHR，填入相关信息，并用它的索引给内存请求加上标识。存储系统返回数据时携带该标识，缓存据此将数据和标签写入正确的块，并“通知”引发未命中的指令：数据已就绪，可以继续执行。非阻塞缓存显然需要额外逻辑，因而有能耗代价；但很难准确评估，因为它也可能缩短停顿和执行时间，从而降低能耗。

除了上述问题，多处理器存储系统无论位于单芯片还是多芯片，还必须解决与缓存一致性和存储一致性有关的复杂实现问题。而且，缓存未命中不再是原子操作：请求与响应分开，多个请求之间可以交错，因此也可能出现死锁。第 5 章将再次讨论，在线附录 I 的 I.7 节会作更详细的介绍。

第六项优化：关键字优先与提前重启，降低未命中开销

这项技术基于一个观察：处理器通常一次只需要块内的一个字。策略就是“不必耐心等完”：不等整个块装入，就发送所需字并恢复处理器执行。具体有两种方法：

• 关键字优先（critical word first）：先向内存请求缺失的那个字，一到达就送给处理器；处理器继续执行，同时填充块内其余字。
• 提前重启（early restart）：按正常次序取字，但所需字一到达，就送给处理器，让它继续执行。

一般只有缓存块较大时收益才明显。注意，在填充块内其余部分的同时，缓存通常仍会服务对其他块的访问。

不过，空间局部性使下一次访问很可能指向同一块的其余部分。与非阻塞缓存一样，未命中开销并不好算。关键字优先方案中，如果又出现第二次请求，其实际开销就是从请求发出到第二部分数据到达之间、无法与其他工作重叠的时间。两项技术的收益取决于块大小，以及再次访问尚未取回部分的可能性。

例如，在采用这两项技术的 i7 6700 上运行 SPECint2006 时，对仍有未完成未命中的块，平均会产生不止一次访问：平均 1.23 次，范围为 0.5–3.0。2.6 节将更详细地研究先进存储层次结构的性能。

第七项优化：通过编译器优化降低未命中率

到目前为止，所讨论的技术都需要改变硬件。下面的方法却无须改变硬件，就能降低未命中率。

这种“魔法”来自软件优化——硬件设计者最喜欢的解决办法！处理器与主存之间日益扩大的性能差距，促使编译器开发者仔细研究存储层次结构，寻找编译时优化的机会。研究同样分为改善指令未命中与改善数据未命中两类。下面介绍的优化，许多现代编译器都已采用。

循环交换

有些程序的嵌套循环按非连续顺序访存。只需交换循环嵌套次序，就能按数据存放顺序访问。假设数组无法完全放入缓存，这种方法通过改善空间局部性来减少未命中：在一个缓存块被丢弃前，尽可能多地使用其中的数据。例如，二维数组 x 的大小为 [5000,100]，使 x[i,j] 与 x[i,j+1] 相邻存放；因为数组按行排列，这称为行优先（row major）。以下前后两段代码展示了如何优化访问：

/* 优化前 */
for (j = 0; j < 100; j = j + 1)
    for (i = 0; i < 5000; i = i + 1)
        x[i][j] = 2 * x[i][j];

/* 优化后 */
for (i = 0; i < 5000; i = i + 1)
    for (j = 0; j < 100; j = j + 1)
        x[i][j] = 2 * x[i][j];

原代码按 100 个字的步长跳跃访问；修改后则先访问完一个缓存块内的全部字，再转向下一个块。它在不改变执行指令数的情况下改善了缓存性能。

分块

**分块（blocking）**通过改善时间局部性减少未命中。这里仍涉及多个数组，其中有的按行访问，有的按列访问；每次循环迭代都会同时使用行和列，因此无论将数组按行优先还是列优先存放，都不能解决问题。这种相互正交的访问方式意味着，即便做过循环交换，仍有很大优化空间。

分块算法不处理完整行或完整列，而是处理子矩阵，即二维块，目的是在缓存中的数据被替换前尽可能多地使用它们。以下矩阵乘法代码说明了优化动机：

/* 优化前 */
for (i = 0; i < N; i = i + 1)
    for (j = 0; j < N; j = j + 1) {
        r = 0;
        for (k = 0; k < N; k = k + 1)
            r = r + y[i][k] * z[k][j];
        x[i][j] = r;
    };

最内侧的两个循环会读遍 z 的全部 $N\times N$ 个元素，反复读取 y 同一行的 N 个元素，并写入 x 一行中的 N 个元素。图 2.13 展示了三个数组的访问状态：深色表示近期访问，浅色表示较早访问，白色表示尚未访问。

容量未命中的数量显然取决于 N 和缓存容量。如果能容纳全部三个 $N\times N$ 矩阵，只要没有缓存冲突，就没有问题。如果能容纳一个 $N\times N$ 矩阵和长度为 N 的一行，那么至少 y 的第 i 行与整个 z 可以保留在缓存中。容量再小一些，原文指出 x 与 z 都可能发生未命中。最坏情况下，$N^3$ 次运算需要访问 $2N^3+N^2$ 个内存字。

为保证正在访问的元素能放入缓存，将代码改为对 $B\times B$ 子矩阵计算。最内侧两个循环不再跨越 x 和 z 的完整长度，而以 B 为范围分段处理。B 称为分块因子（blocking factor）。假设 x 已初始化为零：

/* 优化后 */
for (jj = 0; jj < N; jj = jj + B)
    for (kk = 0; kk < N; kk = kk + B)
        for (i = 0; i < N; i = i + 1)
            for (j = jj; j < min(jj + B, N); j = j + 1) {
                r = 0;
                for (k = kk; k < min(kk + B, N); k = k + 1)
                    r = r + y[i][k] * z[k][j];
                x[i][j] = x[i][j] + r;
            };

图 2.13（续）。 颜色深浅表示距访问发生的时间：白色表示尚未访问，浅色表示较早访问，深色表示较近访问。反复读取 y 和 z 的元素，用于计算 x 的新元素。图中沿相应行或列标出用于访问数组的变量 i、j、k。

图 2.14 展示了分块后的访问。只考虑容量未命中，访问内存字的总数为 $2N^3/B+N^2$，相当于将访问量约降至原来的 $1/B$。因此，分块结合利用了空间和时间局部性：y 受益于空间局部性，z 受益于时间局部性。这里采用正方形块 $B\times B$，也可以用矩形块；如果矩阵不是正方形，这样做就是必要的。

我们关注的是减少缓存未命中，但分块还可以帮助寄存器分配。选择足够小的块，使其能够放入寄存器，即可尽量减少程序的加载和存储操作。

第 4 章 4.8 节将说明，对于以矩阵为主要数据结构的应用，要在采用缓存的处理器上取得良好性能，缓存分块不可或缺。

第八项优化：用硬件预取指令和数据，降低未命中开销或未命中率

非阻塞缓存使程序执行与内存访问重叠，从而有效降低未命中开销。另一种办法是在处理器提出请求前，提前**预取（prefetch）**所需内容。指令和数据都可以预取，既可以直接送入缓存，也可以送入一个访问速度快于主存的外部缓冲区。

指令预取常由缓存之外的硬件完成。通常，处理器在发生未命中时取回两个块：所请求的块及其后紧邻的块。所请求的块返回后放入指令缓存，预取的块则放入指令流缓冲区（instruction stream buffer）。如果请求的块已经在指令流缓冲区中，就取消原来的缓存请求，从流缓冲区读出该块，并发出下一次预取请求。

数据访问也可以采用类似方法（Jouppi，1990）。Palacharla 和 Kessler（1994）研究了一组科学计算程序，考察了能够处理指令或数据的多个流缓冲区。他们发现，对于配备两个 64 KiB 四路组相联缓存、分别存放指令和数据的处理器，8 个流缓冲区能够捕获全部未命中的 50%～70%。

Intel Core i7 和 i9 都支持向 L1 和 L2 进行硬件预取，最常见的预取操作是访问下一条缓存行。如果应用的 L1 和 L2 未命中率很低，预取就难以带来很大改善。即便 L1 或 L2 未命中率较高，也必须谨慎使用预取，因为“错误”的预取可能替换掉有用的缓存块，并且会消耗缓存或内存带宽。Xeon Skylake-SP 的硬件预取与 Sapphire Rapids 非常相似，包含 4 种数据预取器：L1 数据缓存单元预取器（Data cache unit prefetcher，DCUI）、L1 数据缓存指令指针步长预取器（Data cache instruction pointer stride prefetcher，DCUP）、L2 数据缓存空间预取器（Data cache spatial prefetcher，L2A）和 L2 数据缓存流预取器（Data cache streamer，L2P）。在 SPECCPU2017 中内存访问较密集的基准测试里，L2P 最为重要，贡献了 CPI 改善的 70%。注意，L2 预取器可以从 L3 或内存取数据，并将结果直接放入 L2；如果数据来自内存，则不会同时放入 L3。

图 2.15 给出了多核 Xeon 处理器 Skylake-SP 开启硬件预取后，一部分 SPECCPU2017 程序的总体性能改善，以 CPI 的下降衡量。不同程序的结果差异很大：有两个基准测试的性能略有下降，5 个的改善约为 10% 或更少，还有两个的性能提高到原来的两倍以上。图中还给出了 L3 的 MPKI（Misses Per K Instructions，每千条指令的未命中次数）下降情况，它与 CPI 的下降高度相关。

预取不计入未命中次数。因此，当 L2P 向 L2 缓存预取时，既可以消除原本会在 L3 命中的 L2 未命中，也可以消除原本会在 L3 未命中的 L2 未命中。由于 L3 未命中的耗时大约是 L2 未命中的 4 倍，大部分性能改善来自 L3 未命中的减少，如图 2.15 所示。

如果取消预取，被消除的 L3 未命中中会有许多、甚至全部重新出现。不过，预取机制并不完美，也可能引起额外的未命中。比较开启和关闭预取时 L3 所请求的数据流量，就能看出这一点。开启预取后，L3 缓存请求的数据量比关闭时增加了 19%。在少数情形下，例如 bwaves 和 lbm，预取器似乎非常准确，L3 流量的增幅不足 1%。预取效果良好时，对功耗的影响可以忽略，甚至略有益处；如果预取数据没有被使用，或有用的数据被挤出缓存，预取就会显著增加功耗。

图 2.15（续）。 如果某个基准测试有多个输入，采集的数据来自其中内存访问最密集的输入。除 povray 外，CPI 的改善与 MKPI3 的下降非常接近；povray 的 MKPI3 接近 0，因此它的全部收益来自将数据从 L3 预取到 L2。L2P 不仅总体效果最好，而且在改善最大的 7 个基准测试中，贡献了 90% 的收益。数据来自 Navarro-Torres 等人（2019）。图中蓝色柱与橙色折线分别表示“开启预取时的 CPI / 关闭预取时的 CPI”和“开启预取时的 MPKI3 / 关闭预取时的 MPKI3”；纵轴为相应比值。

译注： 原图图例使用 MPKI3，图注却写作 MKPI3，纵轴还写作 MKI3，均指 L3 的每千条指令未命中次数。图注说有 15 个基准测试，图中实际列出了 17 个名称。

第九项优化：由编译器控制预取，降低未命中开销或未命中率

硬件预取之外的另一种办法，是由编译器插入预取指令，在处理器需要数据之前发出请求。预取分为两类：

• 寄存器预取（register prefetch）：将值加载到寄存器中。
• 缓存预取（cache prefetch）：只将数据加载到缓存中，不加载到寄存器中。

两者都可以采用会引发异常或不会引发异常的形式（faulting 或 nonfaulting）；也就是说，地址出现虚拟地址错误或违反保护规则时，可以引发异常，也可以不引发异常。不会引发异常的预取如果遇到原本应产生异常的情形，就退化为空操作，这正是我们所希望的行为。

最有效的预取对程序在“语义上不可见”：不改变寄存器和内存的内容，也不会引起虚拟内存异常。今天的大多数处理器都提供不会引发异常的缓存预取。本节假定采用这种预取，也称为 nonbinding prefetch。

只有处理器在预取数据时能够继续执行，预取才有意义；也就是说，缓存不能停顿，而应在等待预取数据返回时继续提供指令和数据。正如你可能已经想到的，这类计算机的数据缓存通常是非阻塞的。

与硬件控制的预取一样，目标是使程序执行与数据预取重叠。循环很适合做预取优化，因此是重点。如果未命中开销较小，编译器只需将循环展开一两次，再将预取与执行调度在一起。如果未命中开销较大，就采用软件流水线（见附录 H），或者将循环展开多次，为未来的迭代预取数据。

不过，发射预取指令本身会带来指令开销，因此编译器必须确保这些开销不超过收益。通过把注意力集中于很可能发生缓存未命中的访问，程序既可以避免不必要的预取，又能显著改善平均内存访问时间。

例题：识别并预取可能未命中的数据

对于以下代码，判断哪些访问可能引发数据缓存未命中，然后插入预取指令以减少未命中，最后计算所执行的预取指令数及预取所避免的未命中次数。假设有一个容量为 8 KiB、块大小为 16 字节的直接映射数据缓存，采用写回和写分配策略。a 和 b 是双精度浮点数组，每个元素占 8 字节；a 有 3 行、100 列，b 有 101 行、3 列。程序开始时，两数组都不在缓存中。

for (i = 0; i < 3; i = i + 1)
    for (j = 0; j < 100; j = j + 1)
        a[i][j] = b[j][0] * b[j + 1][0];

解答。 编译器首先确定哪些访问可能引起缓存未命中，否则就会浪费时间，为本来能够命中的数据发射预取指令。a 的元素按照它们在内存中的存放顺序写入，因此 a 能受益于空间局部性：j 为偶数时未命中，为奇数时命中。a 有 3 行、100 列，因此这些访问将产生 $3\times(100/2)=150$ 次未命中。