并行体系结构的发展之路 王庆龄 宋佳思

目录 引言 并行计算机发展的推动力 并行体系结构的分类 并行体系结构的发展过程 并行体系结构的展望

引言 并行计算机的定义 体系结构巨大变化 CPU 性能发展 软硬件技术进步

并行计算机发展的推动力 科学与工程计算领域对并行计算能力的要 求总是永无止境的。 计算机技术、网络技术的迅速发展及其对 经济与生活影响的日益深入 并行计算机体系结构的发展和处理器、存 储器以及网络互连技术的发展密不可分

计算机并行体系结构的分类 Flynn 分类法 其弱点

计算机体系结构的分类 Flynn 分类法的扩展 : 根据内存的物理分布、逻辑映射、读取方 式 可以将 MIMD 类并行计算机系统进一步细分 为共享内存，虚拟共享内存，和分布式内 存三大类 这三类并行系统所使用的编程模式有共享 内存和消息传递，以及两种模式同时使用 的混合模式

共享内存 (UMA/SMP) 所有共享内存系统的共同特点是：计算机 系统具有可以被所有处理器直接存取的共 享内存空间。 由一个操作系统控制，并且整个系统仅有 一个地址空间；各个处理器在内存的存取 上是平等的，处理器存取每个内存单元的 代价是一致的

虚拟 / 分布式共享内存 内存不再是集中位于系统中的某一区域， 而是物理分布在整个系统中； 这种系统中连接处理器与内存的网络不再 是简单的、单一的总线 / 交叉开关 / 其他网络 结构，而是一种分级混合式网络结构。 在用户看来，这种系统具有共享内存系统 的所有特征。

分布式内存 没有一个共享的、囊括系统所有物理内存 的空间。 分布式内存系统所使用的编程模式是消息 传递，系统的任何一个结点都具有独立的 操作系统，能独立运行 这类系统又被一些人称为多处理机系统。 可以进一步分为三个子类：

分布式内存系统分类 大规模并行处理（ MPP ， Massively Parallel Processing ） 指那些使用比较专有的、非大规模商品化 的硬件和软件，紧耦合的分布式内存计算 机系统；

分布式内存系统分类 Beowulf 集群 它的每个处理结点都使用量产的商用计算 机系统，互连网络也使用量产的商用 LAN/ATM 网络。 Beowulf 集群也被称为工作站集群（ COW ， Cluster of Workstations ），或者工作站网 络。

分布式内存系统分类 SMP 集群 它的每个结点都是一个 SMP 系统，互连网 络也使用类似 Myrinet 的高速网络。 SMP 集群仍然可以适用以 MPI （ Message Passing Interface ）为代表的消息传递编程 模式。 另外，ＳＭＰ集群较之 Beowulf 集群，可以 支持以 MPI + OpenMP 为代表的混合编程模 式。

并行体系结构的发展过程 60 年代初期 主要是共享存储多处理器系统 当时的 IBM System 360 是这一时期的典型 代表。（下图 IBM System 360 ）

IBM System 360

并行体系结构的发展过程 伊利诺依大学和 Burroughs 公司此时开始了 Illiac IV 计划。 当一台规模大大缩小了的 16 CPU 系统终于 在 1975 年出现时，整个计算机界已经发生 了巨大的变化。

并行体系结构的发展过程 首先是存储系统概念 的彻底革新。虚拟存 储和缓存的普遍应用。 IBM 360/85 系统与 360/91 反映了这一时 期的主要变化（上图 360/91 ，下图 360/85 ）

并行体系结构的发展过程 其次是半导体存储器开始代替磁芯存储器。 CDC 7600 （ 下图 CDC 7600 ）率先全面 采用半导体存储器，磁芯存储器从此退出 了历史舞台。 与此同时，集成电路也出现了

并行体系结构的发展过程 1976 年 CRAY1 问世以后，向量计算机从此 牢牢地控制着整个高性能计算机市场。

并行体系结构的发展过程 微处理器的出现则使并行计算机的体系结 构迈出了另一大步。卡内基梅隆大学开始 进行共享存储多处理器系统的研 究。 C.mmp 就是这一研究的具体成果。（下图 C.mmp ）

并行体系结构的发展过程 80 年代稍后出现了非常适合于 SMP 方式的 总线协议，而伯克利加州大学则扩展性地 提出了 Cache 一致性问题的处理方案。 同一时期，基于消息传递机制的并行计算 机也开始不断涌现。例如 Intel iPSC 系列 （下图 Intel iPSC ）

并行体系结构的发展过程 向量计算机渐渐衰落下去了。数据并行方 式到了 80 年代中期又开始逐渐复兴。

并行体系结构的发展过程 80 年代末 90 年代初，共享存储器方式的大 规模并行计算机又获得了新的发展。 90 年代以来，主要的几种体系结构开始走 向融合。 不过， IBM 近年来大获成功的 SP1 、 SP2 系 列机群系统走的则是另外一条路线。面向 的是通用的应用领域

并行体系结构展望 目前的并行计算机系统则主要有四类 : 第一类是多向量处理系统, 如 Cray YMP90 、 NEC SX3 和 Fujitsu VP 2000 等 ; 第二类是基于共享存储的多处理机（ SMP ）系统, 如 SGI Power Challenge 、曙光 1 号等 ; 第三类是基于分布存储的大规模并行处理 (MPP) 系统, 如 Intel Paragon 、 IBM SP2 、曙光 1000 等； 第四类是基于 RISC 工作站或高档微机通过高速互 连网络连接而构成的机群计算机系统，如清华同 方探索集群计算机等。

并行体系结构展望 实现上述第一和第三类系统由于受研制费用高、 售价高等因素的影响, 其市场受到一定的限制。 第二类系统由于共享结构的限制, 系统的规模不可 能很大。 由于机群系统计算机具有投资风险小、可扩展性 好、可继承现有软硬件资源和开发周期短、可编 程性好等特点，目前已成为并行处理的热点和主 流。这种发展趋势也恰好符合了专家对最高水平 的计算机技术做过的预测。

机群系统研究 目前国内外许多科研机构都在对机群系统 下的通信技术进行深入的研究，下表中列 举了在机群系统中实现的几种经典的通信 子系统。

机群系统研究 目前，机群系统大多数采用商用高性能工作站或 高档 PC ，结点的运算速度问题不是很突出，因而 主要的研究方面是在提高系统的并行效率，使系 统的使用更为方便上，包括建立高效的通信系统， 有效地管理全局资源和提供友好的并行应用程序 开发环境等。 机群系统之所以能够从技术可能发展到实际应用 主要是它与传统的并行处理系统相比有以下几个 明显的特点：

机群系统研究 系统开发周期短。 用户投资风险小。 系统价格低。 节约系统资源。 系统扩展性好 用户编程方便

机群系统研究 跟传统的 RISC 小型机或者由普通的 PC 服务 器群比较，机群的优势主要体现在以下几 个方面：

机群系统整体框架

曙光机群系统结构

曙光 4000L 面向网格和 HPC 机群系统方案

机群系统研究 今后几年，我们将看到第三代机群的出现，试图解决下列问题： 功耗效益：单位功耗所提供的性能（ performance ）与生产力 （ productivity ）。 成本效益：单位成本所提供的性能（ performance ）与生产力 （ productivity ）。 空间效益：单位空间所提供的性能（ performance ）与生产力 （ productivity ）。 应用效益：用户实际能够得到的性能（ performance ）与生产力 （ productivity ）。 单一系统映像与带宽、吞吐率的矛盾。 具有 Petaflop/s 计算能力和 PB 级存储能力的大规模系统的 SUMA 问 题。 对网络计算与广泛普及的支持（即面向网格的超级服务器）。 建立高性能计算机的等级，针对不同的用户需求，提供不同等级的 系统和服务

机群系统研究 在过去十年中，高性能计算机发展最快的体系结构种类是 SMP 和机群。 从今天的市场（包括技术计算市场和大得多的服务器市场）占有率看， 低档高性能计算机的主流是 SMP ，而机群，尤其是 SMP 机群，已经 成为中高档高性能计算机的主流。其他体系结构（ PVP 、 PVP-NUMA 、 ccNUMA ）的市场占有率要小的多，而且很难看出他们有加速发展的 可能。 机群的应用水平也不断提高，不论是在技术计算（科学计算与工程模 拟）领域、商务应用（事务处理与数据处理）领域、互联网主机应用 领域，都是如此 高性能的工作站、高档微机的使用是提出并行机群系统的前提条件， 而高速网络硬件设备的出现，则为机群系统的发展打下了坚实的基础， 极大的推动了它的的使用和推广，新型通信协议的研究又进一步发挥 了高速网络的高性能，使得机群系统具有更好的性能和更广的适应性。 因此可以预计，随着工作站本身性能的不断提高以及新的通信技术的 研究， 并行机群系统将会逐渐接近或达到 MPP 的性能指标，成为目 前并行计算领域中的主流技术之一

参考文献 1 ．陈树清 《并 行 计 算 机 的 现 状 与 发 展 趋 势》 2 ．郑纬民 《并行计算机之路》 3 ．李国杰 《可扩展高性能并行计算机的关键技术与发展 远景》 4 ．陈国良 《并行算法研究进展》 5 ．《机群服务器与小型机的优势比较》 6 ．徐志伟《高性能计算机与网格的研究开发态势》

The End. Thanks.