跳转到主要内容

M.10 磁存储、RAID 与 I/O 总线的历史(附录 D)

这里所说的海量存储,是指单个设备容量超过一百万个字母数字字符……

——Hoagland[1963]

存储 I/O 的种类和问题多种多样,因此其历史也有许多不同线索。Smotherman[1989]更深入地探讨了 I/O 的历史。本节讨论磁存储、RAID,以及 I/O 总线和控制器。希望进一步学习排队论的读者,可以阅读 Jain[1991]和 Lazowska 等人[1984]的著作。

磁存储

磁记录最初为记录声音而发明,到 1941 年,磁带已能与其他存储设备竞争。1947 年 ENIAC 的成功,推动了用磁带记录数字信息的尝试。直到 20 世纪 70 年代,卷式磁带一直主导可移动存储。80 年代,IBM 3480 盒式磁带成为事实标准,至少在大型机领域如此。它同时读取 18 条磁道,传输率为 3 MB/s,但这种半英寸磁带的容量只有 200 MB。StorageTek 在 Powder-Horn 中采用的 9840 盒式磁带,传输率为 10 MB/s,容量为 20,000 MB。它并非只沿纵向记录,而是以折返方式排列磁道,使磁头反向跟随磁道;这种技术称为蛇形记录。另一种半英寸磁带是 Digital Linear Tape;DLT7000 容量为 35,000 MB,传输率为 5 MB/s。与它竞争的是螺旋扫描,通过旋转磁头来提高记录密度。2001 年,8 mm 螺旋扫描磁带的容量为 20,000 MB,传输率约为 3 MB/s。无论密度和成本如何,磁带的顺序访问性质始终使人们渴望能够随机访问的存储设备。

1953 年,IBM 的 Reynold B. Johnson 挑选了 15 名科学家,目标是建造一种随机访问存储系统,其速度要比磁带快得多。设计目标是存储相当于 50,000 张标准 IBM 穿孔卡的信息,并在一秒内取出数据。Johnson 的磁盘驱动器设计很简单,却未经验证:磁读写传感器必须悬浮在持续旋转的盘面上方几千分之一英寸处。24 个月后,团队造出了可工作的原型,重 1 吨,占据约 300 立方英尺空间。RAMAC-350(Random Access Method of Accounting Control)采用 50 张直径 24 英寸的盘片,以每分钟 1200 转旋转,总容量 5 MB,访问时间 1 秒。

从 RAMAC 开始,IBM 一直保持磁盘行业的领先地位,其存储业务总部就设在 Johnson 团队开展工作的加利福尼亚州 San Jose。后来许多竞争磁盘厂商的领导者,都在 IBM 开始职业生涯;许多磁盘公司也位于 San Jose 附近。

RAMAC 虽然包含第一种磁盘,磁记录的一项重大突破却来自后来磁盘的气浮式读写磁头:磁头运行在高速盘面产生的空气垫上。这层空气垫既使磁头能够随盘面不平整处起伏,又让它非常接近盘面。后续进展主要来自部件质量的改善和精度的提高。2001 年,磁头与盘面间距为 2 至 3 微英寸,而 RAMAC 驱动器中为 1000 微英寸。

移动磁头磁盘很快成为主要的高速磁存储设备,但其高成本使磁带直到 20 世纪 70 年代仍被广泛采用。硬盘的下一项重要进展,是 IBM 于 1962 年开发的可换盘式硬盘驱动器;它允许多个盘组共享昂贵的驱动器电子电路,帮助磁盘取代磁带,成为首选存储介质。1962 年的 IBM 1311 面密度为每平方英寸 50,000 位,成本约为每 MB 800 美元。IBM 还在 1970 年发明了软盘驱动器,最初用于保存 IBM 370 系列的微代码。约十年后,软盘随着 PC 而普及。

磁盘的第二项重大突破,是大约 1973 年出现的 Winchester 设计。它得益于两项相互关联的变化。首先,集成电路不仅降低了 CPU 成本,也降低了磁盘控制器和控制磁臂的电子电路成本。电子电路变便宜后,不再需要由多个盘组共享,因而固定式磁盘在经济上变得可行。盘片固定并可以封装在密闭外壳内,大幅减轻了环境和控制方面的问题。密封系统使磁头能够更贴近盘面,进一步提高面密度。IBM 交付的第一种密封磁盘有两个主轴,每个主轴配备 30 MB 磁盘;“30-30”这一绰号引出了 Winchester 名称。美国流行的运动步枪 Winchester 94,也因所用弹药口径而被昵称为“30-30”。Winchester 磁盘在 20 世纪 80 年代迅速普及,到该年代中期完全取代了可换盘式磁盘。在此之前,控制磁盘的电子电路成本很高,存储介质必须能够更换。

正如附录 D 所述,DRAM 开始缩小面密度差距、似乎将赶上磁盘存储时,IBM 内部会议曾质疑磁盘驱动器的未来。磁盘设计者得出结论:要抵御 DRAM 威胁,磁盘必须每年改进 60%,而此前的历史增速只有每年 29%。关键使能技术是磁阻磁头,后来的巨磁阻磁头又使原文所述密度成为可能。由于这种竞争,从实验室创造密度纪录,到实际交付相应密度磁盘的间隔,已大幅缩短。

个人计算机创造了小尺寸(SFF)磁盘驱动器市场,因为大型机使用的 14 英寸磁盘驱动器,比 PC 本身还大。2006 年,3.5 英寸驱动器在市场上领先,而笔记本必需的 2.5 英寸驱动器销量也相当可观。iPod 或摄像机等需要更小磁盘的手持设备,能否持续保持显著销量,当时仍有待观察。例如,20 世纪 90 年代初为掌上电脑开发过 1.8 英寸驱动器,但那个市场选择了 Flash,1.8 英寸驱动器便消失了。

RAID

20 世纪 80 年代面向 PC 的小尺寸硬盘,促使 Berkeley 一个研究组提出廉价磁盘冗余阵列(Redundant Arrays of Inexpensive Disks,RAID)。该小组此前参与 RISC 研究,预期快得多的 CPU 即将出现。他们提出两个问题:随 PC 一起使用的这些小磁盘能做些什么?在 I/O 领域,怎样才能跟上快得多的处理器?他们主张用 50 个小驱动器替代一个大型机驱动器,利用许多独立磁臂获得高得多的性能。众多小驱动器甚至还能节省功耗和占地面积。缺点在于,磁盘数量多会使平均失效前时间(MTTF)大幅缩短。因此,他们独立推导出冗余磁盘和轮转奇偶校验的优点,以解决这样的问题:既利用许多小驱动器提高性能,又让可靠性达到单个大型机磁盘的水平。

解释这些思想时,他们遇到的问题是:有些研究者听说过具有某种冗余的磁盘阵列,却不明白 Berkeley 方案的不同。因此,第一篇 RAID 论文[Patterson、Gibson 和 Katz,1987]不仅论证了小尺寸磁盘阵列,也在一定程度上充当了既有磁盘阵列工作的教程和分类说明。镜像,即 RAID 1,早已用于 Tandem 等厂商销售的容错计算机。1987 年,Thinking Machines 有一种采用 32 个数据盘和七个校验盘、通过 ECC 纠错的阵列,即 RAID 2;Honeywell Bull 更早就有 RAID 2 产品。同一时期,科学计算机也采用了带单个奇偶校验盘的阵列,即 RAID 3。论文随后介绍了支持扇区访问的单奇偶校验盘方案 RAID 4,以及轮转奇偶校验方案 RAID 5。Chen 等人[1994]综述了最初的 RAID 思想、商用产品和后续发展。

Berkeley 小组当时并不知道,IBM 研制 AS/400 的工程师也提出了轮转奇偶校验,用来提高一组大型磁盘的可靠性。IBM 在 Berkeley 小组撰写论文之前,就提交了 RAID 5 的专利申请。几家公司关于 RAID 1、RAID 2、RAID 3 的专利,又早于 IBM 的 RAID 5 专利,由此引发了大量诉讼。

Berkeley 论文写于万维网出现之前,但它激发了许多工程师的想象力,复印件通过传真传遍世界。后来属于 Seagate 的一家公司中,有位工程师从朋友和客户那里收到了七份论文。EMC 原本为 IBM 计算机供应 DRAM 板,但 IBM 大约在 1988 年出台的新政策,使 EMC 几乎无法继续销售 IBM 内存板。看来,这篇 Berkeley 论文也曾摆到 EMC 高层的办公桌上,于是他们决定改为进军 IBM 磁盘存储产品主导的市场。按照论文的主张,他们用许多小驱动器与大型机驱动器竞争,并在 1990 年发布 RAID 产品。该产品用镜像,即 RAID 1,保障可靠性;EMC 的 RAID 5 产品晚得多才出现。随后一年中,Micropolis 推出 RAID 3,Compaq 推出 RAID 4,Data General、IBM 和 NCR 则推出 RAID 5 产品。

RAID 思想很快传播到其他工作站和服务器厂商。Byte 杂志一篇解释 RAID 的文章[Anderson,1990]促成了桌面 PC RAID 产品的出现,这令 Berkeley 小组颇感意外。他们关注的是在保持良好可用性的同时提高性能,但更高可用性本身就对 PC 市场很有吸引力。

另一个出乎意料之处是磁盘阵列的成本。冗余电源与风扇、磁盘热插拔能力、RAID 硬件控制器、冗余磁盘等因素,使早期磁盘阵列的价格达到所用磁盘成本的许多倍。也许正因如此,RAID 中的 inexpensive(廉价)逐渐变成 independent(独立)。原文撰写时,许多市场部门和技术作者只知道 RAID 的全称是“独立磁盘冗余阵列”。

EMC 的转型取得了成功。2006 年,EMC 成为领先的存储系统供应商,NetApp 则是领先的网络附加存储系统供应商。当年 RAID 产业规模达到 300 亿美元,非 PC 磁盘销量中超过 80% 用于 RAID。为表彰他们的贡献,Garth Gibson、Randy Katz 和 David Patterson 于 1999 年获得 IEEE Reynold B. Johnson 信息存储奖,获奖理由是“开发了廉价磁盘冗余阵列(RAID)”。

I/O 总线与控制器

无处不在的微处理器,不仅催生了 20 世纪 70 年代的个人计算机,也促成了 80 年代末至 90 年代将控制器功能移入 I/O 设备的趋势。I/O 设备继续沿着这一方向演进,将控制器集成到设备内部。这类设备称为智能设备,有些总线标准,例如 SCSI,就是专为它们而制定的。智能设备自行处理许多低级任务,并对结果排队,从而放宽时序约束。例如,许多兼容 SCSI 的磁盘驱动器在盘内设置磁道缓冲区,支持预读和连接/断开操作。因此,在一条 SCSI 设备链上,一些磁盘可以寻道,另一些可以装填磁道缓冲区,而同时有一个设备将缓冲区中的数据经 SCSI 总线传出。最初 RAMAC 的控制器采用真空管,只需将磁头移动到目标磁道,等待数据经过磁头下方,再传送数据并计算奇偶校验。SCSI 是 Small Computer Systems Interface 的缩写,它体现了这样一种做法:一家公司发明总线,并慷慨鼓励其他公司制造能接入该总线的设备。Shugart 创建了这条总线,最初称为 SASI,后来由 IEEE 标准化。

SCSI 曾有几个潜在继任者,原文所述时期领先的是 Fibre Channel Arbitrated Loop(FC-AL,光纤通道仲裁环)。SCSI 委员会持续提高总线时钟频率,赋予这一标准新的生命;SCSI 的寿命已经超过了某些被提议的继任者。随着 SCSI 串行接口“Serial Attach SCSI”和 ATA 串行接口“Serial ATA”的出现,它们还可能继续使用很久。

第一种由多家厂商支持的总线,或许是 DEC 于 1970 年推出的 PDP-11 Unibus。遗憾的是,这种开放政策,与一些公司利用专利接口建立专有总线、阻止插接兼容厂商竞争的做法形成对照。专有总线还会增加成本,减少可接入的 I/O 设备种类,因为设备必须专门为该总线设计接口。Intel 推动的 PCI 总线,代表着计算机内部 I/O 总线回归开放标准。它的直接后继是 PCI-X;InfiniBand 则在 2000 年仍处于开发中,两者都由多家公司组成的行业协会制定标准。

RAMAC 时代的机器不仅带来存储设备,也带来 I/O 中断。1954 年的 NBS DYSEAC 通常被认为是第一台将中断从检测算术异常,扩展到检测异步 I/O 事件的机器[Leiner 和 Alexander,1954]。第二年,第一台采用 DMA 的机器 IBM SAGE 投入运行。与今天的 DMA 一样,SAGE 具有地址计数器,能够在 CPU 运算的同时执行块传送。

早期 IBM 360 开创了今天 I/O 系统采用的许多思想。360 是第一种大量使用 DMA 的商用机器,并引入了由设备解释执行的 I/O 程序概念。I/O 程序链接是一项重要功能。360 引入的通道概念,对应今天的 I/O 总线。

Myer 和 Sutherland[1968]撰写了一篇经典论文,讨论 I/O 控制器中复杂性与性能的权衡。他们借用宗教中的“轮回”概念,指出自己最终陷入一个循环:不断增强 I/O 处理器的能力,直到它又需要一个更简单的协处理器。他们在附录 D 中的引文,概括了这个值得警惕的故事。

IBM 大型机中配有 I/O 处理器的 I/O 通道,可以被视为 InfiniBand 的灵感来源;InfiniBand 的 Host Channel Adapter(主机通道适配器)卡上同样配有处理器。

参考文献

  1. Anderson, D. [2003]. “You don’t know jack about disks,” Queue 1:4 (June), 20–30.

  2. Anderson, D., J. Dykes, and E. Riedel [2003]. “SCSI vs. ATA—more than an interface,” Proc. 2nd USENIX Conf. on File and Storage Technology (FAST ’03), March 31–April 2, 2003, San Francisco.

  1. Anderson, M. H. [1990]. “Strength (and safety) in numbers (RAID, disk storage technology),” Byte 15:13 (December), 337–339.

  2. Anon. et al. [1985]. A Measure of Transaction Processing Power, Tandem Tech. Rep. TR 85.2. Also appeared in Datamation, 31:7 (April), 112–118.

  3. Bashe, C. J., W. Buchholz, G. V. Hawkins, J. L. Ingram, and N. Rochester [1981]. “The architecture of IBM’s early computers,” IBM J. Research and Development 25:5 (September), 363–375.

  4. Bashe, C. J., L. R. Johnson, J. H. Palmer, and E. W. Pugh [1986]. IBM’s Early Computers, MIT Press, Cambridge, Mass.

  5. Blaum, M., J. Brady, J. Bruck, and J. Menon [1994]. “EVENODD: An optimal scheme for tolerating double disk failures in RAID architectures,” Proc. 21st Annual Int’l. Symposium on Computer Architecture (ISCA), April 18–21, 1994, Chicago, 245–254.

  6. Blaum, M., J. Brady, J. Bruck, and J. Menon [1995]. “EVENODD: An optimal scheme for tolerating double disk failures in RAID architectures,” IEEE Trans. on Computers 44:2 (February), 192–202.

  7. Blaum, M., J. Brady, J., Bruck, J. Menon, and A. Vardy [2001]. “The EVENODD code and its generalization,” in H. Jin, T. Cortes, and R. Buyya, eds., High Performance Mass Storage and Parallel I/O: Technologies and Applications, IEEE & Wiley Press, New York, 187–208.

  8. Blaum, M., J. Bruck, and A. Vardy [1996]. “MDS array codes with independent parity symbols,” IEEE Trans. on Information Theory, IT-42 (March), 529–542.

  9. Brady, J. T. [1986]. “A theory of productivity in the creative process,” IEEE CG&A (May), 25–34.

  10. Brown, A., and D. A. Patterson [2000]. “Towards maintainability, availability, and growth benchmarks: A case study of software RAID systems.” Proc. 2000 USENIX Annual Technical Conf., June 18–23, San Diego, Calif.

  11. Bucher, I. V., and A. H. Hayes [1980]. “I/O performance measurement on Cray-1 and CDC 7000 computers,” Proc. Computer Performance Evaluation Users Group, 16th Meeting, October 20–23, 1980, Orlando, Fl., 245–254.

  12. Chen, P. M., G. A. Gibson, R. H. Katz, and D. A. Patterson [1990]. “An evaluation of redundant arrays of inexpensive disks using an Amdahl 5890,” Proc. ACM SIGMETRICS Conf. on Measurement and Modeling of Computer Systems, May 22–25, 1990, Boulder, Colo.

  13. Chen, P. M., and E. K. Lee [1995]. “Striping in a RAID level 5 disk array,” Proc. ACM SIGMETRICS Conf. on Measurement and Modeling of Computer Systems, May 15–19, 1995, Ottawa, Canada, 136–145.

  14. Chen, P. M., E. K. Lee, G. A. Gibson, R. H. Katz, and D. A. Patterson [1994]. “RAID: High-performance, reliable secondary storage,” ACM Computing Surveys 26:2 (June), 145–188.

  15. Corbett, P., B. English, A. Goel, T. Grcanac, S. Kleiman, J. Leong, and S. Sankar [2004]. “Row-diagonal parity for double disk failure correction,” Proc. 3rd USENIX Conf. on File and Storage Technology (FAST ’04), March 31–April 2, 2004, San Francisco.

  1. Denehy, T. E., J. Bent, F. I. Popovici, A. C. Arpaci-Dusseau, and R. H. Arpaci-Dusseau [2004]. “Deconstructing storage arrays,” Proc. 11th Int’l. Conf. on Architectural Support for Programming Languages and Operating Systems (ASPLOS), October 7–13, 2004, Boston, Mass., 59–71.

  2. Doherty, W. J., and R. P. Kelisky [1979]. “Managing VM/CMS systems for user effectiveness,” IBM Systems J. 18:1, 143–166.

  3. Douceur, J. R., and W. J. Bolosky [1999]. “A large scale study of file-system contents,” Proc. ACM SIGMETRICS Conf. on Measurement and Modeling of Computer Systems, May 1–9, 1999, Atlanta, Ga., 59–69.

  4. Enriquez, P. [2001]. “What happened to my dial tone? A study of FCC service disruption reports,” poster, Richard Tapia Symposium on the Celebration of Diversity in Computing, October 18–20, 2001, Houston, Tex.

  5. Friesenborg, S. E., and R. J. Wicks [1985]. DASD Expectations: The 3380, 3380-23, and MVS/XA, Tech. Bulletin GG22-9363-02, IBM Washington Systems Center, Gaithersburg, Md.

  6. Gibson, G. A. [1992]. Redundant Disk Arrays: Reliable, Parallel Secondary Storage, ACM Distinguished Dissertation Series, MIT Press, Cambridge, Mass.

  7. Goldstein, S. [1987]. Storage Performance—An Eight Year Outlook, Tech. Rep. TR 03.308-1, IBM Santa Teresa Laboratory, San Jose, Calif.

  8. Gray, J. [1990]. “A census of Tandem system availability between 1985 and 1990,” IEEE Trans. on Reliability, 39:4 (October), 409–418.

  9. Gray, J. (ed.) [1993]. The Benchmark Handbook for Database and Transaction Processing Systems, 2nd ed., Morgan Kaufmann, San Francisco.

  10. Gray, J., and A. Reuter [1993]. Transaction Processing: Concepts and Techniques, Morgan Kaufmann, San Francisco.

  11. Gray, J., and D. P. Siewiorek [1991]. “High-availability computer systems.” Computer 24:9 (September), 39–48.

  12. Gray, J., and C. van Ingen [2005]. Empirical Measurements of Disk Failure Rates and Error Rates,” MSR-TR-2005-166, Microsoft Research, Redmond, Wash.

  13. Gurumurthi, S., A. Sivasubramaniam, and V. Natarajan [2005]. Disk Drive Roadmap from the Thermal Perspective: A Case for Dynamic Thermal Management, Proceedings of the International Symposium on Computer Architecture (ISCA), June, 38–49.

  14. Henly, M., and B. McNutt [1989]. DASD I/O Characteristics: A Comparison of MVS to VM, Tech. Rep. TR 02.1550, IBM General Products Division, San Jose, Calif.

  15. Hewlett-Packard. [1998]. “HP’s ‘5NINES:5MINUTES’ vision extends leadership and re-defines high availability in mission-critical environments,” February 10, www.future.enterprisecomputing.hp.com/ia64/news/5nines_vision_pr.html.

  16. Hoagland, A. S. [1963]. Digital Magnetic Recording, Wiley, New York.

  17. Hospodor, A. D., and A. S. Hoagland [1993]. “The changing nature of disk controllers.” Proc. IEEE 81:4 (April), 586–594.

  18. IBM. [1982]. The Economic Value of Rapid Response Time, GE20-0752-0, IBM, White Plains, N.Y., 11–82.

  1. Imprimis. [1989]. Imprimis Product Specification, 97209 Sabre Disk Drive IPI-2 Interface 1.2 GB, Document No. 64402302, Imprimis, Dallas, Tex.

  2. Jain, R. [1991]. The Art of Computer Systems Performance Analysis: Techniques for Experimental Design, Measurement, Simulation, and Modeling, Wiley, New York.

  3. Katz, R. H., D. A. Patterson, and G. A. Gibson [1989]. “Disk system architectures for high performance computing,” Proc. IEEE 77:12 (December), 1842–1858.

  4. Kim, M. Y. [1986]. “Synchronized disk interleaving,” IEEE Trans. on Computers C-35:11 (November), 978–988.

  5. Kuhn, D. R. [1997]. “Sources of failure in the public switched telephone network,” IEEE Computer 30:4 (April), 31–36.

  6. Lambright, D. [2000]. “Experiences in measuring the reliability of a cache-based storage system,” Proc. of First Workshop on Industrial Experiences with Systems Software (WIESS 2000), Co-Located with the 4th Symposium on Operating Systems Design and Implementation (OSDI), October 22, 2000, San Diego, Calif.

  7. Laprie, J.-C. [1985]. “Dependable computing and fault tolerance: Concepts and terminology,” Proc. 15th Annual Int’l. Symposium on Fault-Tolerant Computing, June 19–21, 1985, Ann Arbor, Mich., 2–11.

  8. Lazowska, E. D., J. Zahorjan, G. S. Graham, and K. C. Sevcik [1984]. Quantitative System Performance: Computer System Analysis Using Queueing Network Models, Prentice Hall, Englewood Cliffs, N.J. (Although out of print, it is available online at www.cs.washington.edu/homes/lazowska/qsp/.)

  9. Leiner, A. L. [1954]. “System specifications for the DYSEAC,” J. ACM 1:2 (April), 57–81.

  10. Leiner, A. L., and S. N. Alexander [1954]. “System organization of the DYSEAC,” IRE Trans. of Electronic Computers EC-3:1 (March), 1–10.

  11. Maberly, N. C. [1966]. Mastering Speed Reading, New American Library, New York.

  12. Major, J. B. [1989]. “Are queuing models within the grasp of the unwashed?” Proc. Int’l. Conf. on Management and Performance Evaluation of Computer Systems, December 11–15, 1989, Reno, Nev., 831–839.

  13. Mueller, M., L. C. Alves, W. Fischer, M. L. Fair, and I. Modi [1999]. “RAS strategy for IBM S/390 G5 and G6,” IBM J. Research and Development, 43:5–6 (September–November), 875–888.

  14. Murphy, B., and T. Gent [1995]. “Measuring system and software reliability using an automated data collection process,” Quality and Reliability Engineering International, 11:5 (September–October), 341–353.

  15. Myer, T. H., and I. E. Sutherland [1968]. “On the design of display processors,” Communications of the ACM, 11:6 (June), 410–414.

  16. National Storage Industry Consortium. [1998]. “Tape Roadmap,” www.nsic.org.

  17. Nelson, V. P. [1990]. “Fault-tolerant computing: Fundamental concepts,” Computer 23:7 (July), 19–25.

  1. Nyberg, C. R., T. Barclay, Z. Cvetanovic, J. Gray, and D. Lomet [1994]. “AlphaSort: A RISC machine sort,” Proc. ACM SIGMOD, May 24–27, 1994, Minneapolis, Minn.

  2. Okada, S., S. Okada, Y. Matsuda, T. Yamada, and A. Kobayashi [1999]. “System on a chip for digital still camera,” IEEE Trans. on Consumer Electronics 45:3 (August), 584–590.

  3. Patterson, D. A., G. A. Gibson, and R. H. Katz [1987]. A Case for Redundant Arrays of Inexpensive Disks (RAID), Tech. Rep. UCB/CSD 87/391, University of California, Berkeley. Also appeared in Proc. ACM SIGMOD, June 1–3, 1988, Chicago, 109–116.

  4. Pavan, P., R. Bez, P. Olivo, and E. Zanoni [1997]. “Flash memory cells—an overview,” Proc. IEEE 85:8 (August), 1248–1271.

  5. Robinson, B., and L. Blount [1986]. The VM/HPO 3880-23 Performance Results, IBM Tech. Bulletin GG66-0247-00, IBM Washington Systems Center, Gaithersburg, Md.

  6. Salem, K., and H. Garcia-Molina [1986]. “Disk striping,” Proc. 2nd Int’l. IEEE Conf. on Data Engineering, February 5–7, 1986, Washington, D.C., 249–259.

  7. Scranton, R. A., D. A. Thompson, and D. W. Hunter [1983]. The Access Time Myth, Tech. Rep. RC 10197 (45223), IBM, Yorktown Heights, N.Y.

  8. Seagate. [2000]. Seagate Cheetah 73 Family: ST173404LW/LWV/LC/LCV Product Manual, Vol. 1, Seagate, Scotts Valley, Calif. (www.seagate.com/support/disc/manuals/scsi/29478b.pdf).

  9. Smotherman, M. [1989]. “A sequencing-based taxonomy of I/O systems and review of historical machines,” Computer Architecture News 17:5 (September), 5–15. Reprinted in Computer Architecture Readings, M. D. Hill, N. P. Jouppi, and G. S. Sohi, eds., Morgan Kaufmann, San Francisco, 1999, 451–461.

  10. Talagala, N. [2000]. “Characterizing Large Storage Systems: Error Behavior and Performance Benchmarks,” Ph.D. dissertation, Computer Science Division, University of California, Berkeley.

  11. Talagala, N., and D. Patterson [1999]. An Analysis of Error Behavior in a Large Storage System, Tech. Report UCB//CSD-99-1042, Computer Science Division, University of California, Berkeley.

  12. Talagala, N., R. Arpaci-Dusseau, and D. Patterson [2000]. Micro-Benchmark Based Extraction of Local and Global Disk Characteristics, CSD-99-1063, Computer Science Division, University of California, Berkeley.

  13. Talagala, N., S. Asami, D. Patterson, R. Futernick, and D. Hart [2000]. “The art of massive storage: A case study of a Web image archive,” IEEE Computer (November), 22–28.

  14. Thadhani, A. J. [1981]. “Interactive user productivity,” IBM Systems J. 20:4, 407–423.