并行计算机体系结构简介.ppt

第 11章 并行计算机体系结构简介 并行技术是针对大型机和巨型机的 : 第一种： 多处理器（一个处理器指一个单片 CPU芯片） 第二种：多机组成 目前通常把后者并行技术称为并行计算机体 系结构。 11.1 并行计算机结构分类 并行计算机系统可以分成两大类： SIMD系统和 MIMD系统。 SIMD（ Single Instruction Multiple Data） 计算机可以 同时在多个数据集上并行执行同一条指令。这种类 型计算机包括阵列处理系统和向量处理机。 MIMD（ Multiple Instruction Multiple Data） 计算机可 以同时执行多条指令并同时处理多数据集，它是目 前并行技术的主流。 MIMD计算机又分成多处理器系 统和多计算机系统两大类。如图 11 1所示。 图 11 1 并行计算机分类 11.2 SIMD并行计算机 SIMD计算机：用于解决使用向量和阵列这样 比较规整的数据结构的复杂的科学计算和工程 计算问题。 这种计算机特点：只有一个控制单元，每次 只能执行一条指令，但是每一条指令可同时对 多个数据进行操作。 SIMD分为：阵列处理机和向量处理机。 1. 阵列处理机 （ array processor） 特点： 一个单一的控制单元提供信号驱动 多个处理单元同时运行，如图 11 2所示。 组成： PU由 1个处理单元 PE同它的局部存储 器组成。 控制部件方式：向全体 PE“播送 ” 控制信号， 所有 PE在同一个总的时钟信号下同步工作。 PE组成： 可以简单到每个 PE由 1位 ALU组成， 也可大到 32位 ALU， 或者带浮点计算能力的 ALU。 图 11 2 阵列处理机组成图 2. 向量处理机 SIMD计算机中另一类是向量处理机（ vector processor）。 70年代前后，为了处理向量计算研发两种类 型的巨型计算机系统：流水线处理机和并行处 理机。 两者比较优缺点：并行处理机的结构复杂， 成本高，因而流水线处理机发展很快。它是处 理向量计算的主要手段，因此已把它称为向量 处理机。 向量运算举例 假定有一个向量运算： D=A（ B+C） 式中 A， B， C， D都是长度为 N的向量。 若按常规处理，则流水线不能连续流动。 D1=A1（ B1+C1） D2=A2（ B2+C2） DN=AN（ BN+CN） 计算这个向量流水线要反复进行加法 和乘法的切换，即流水线功能切换。 如改变处理顺序 ， 先对所有元素执行加法运算 （ N个加法 ） ， 然后对所有元素执行乘法运算 （ N个乘法 ） ， 其顺序如下 : Bi + Ci Di （ i从 1到 N） Di Ai Di （ i从 1到 N） 这样就能保证流水线畅通 。 Cray 1的体系结构与后来的 RISC体系结构 类似 ， 它成为了很好的研究范例 ， 许多现代 的向量超级计算机都受到它的影响 。 图 11 3 Cray 1体系结构 Cray 1机采用多功能部件结构，一共有 12个 功能部件，分为 4组： 3个向量整数单元部件（加、 逻辑、移位）， 3个浮点标量 /向量浮点单元部件 （加、乘、求倒数）， 4个标量整数单元部件 （加、逻辑、移位、 “ 1” 个数计数）， 2个地址 功能部件（加、乘）。这些功能部件本身都采取 流水线结构，只要不发生寄存器冲突，这些功能 部件都能并行工作。 11.3 MIMD并行计算机 MIMD系统可以分为多处理器系统和多计算机系统两 大类。 多处理器系统特点：所有 CPU共享同一个物理内存， 每个 CPU不带自己的内存或少量带有，由统一操作系 统管理，整个物理内存空间由许多内存模块组成。 多计算机系统特点：每个 CPU都有自己的内存，即自 己独立的物理地址空间；执行自己的操作系统，再加 上对外通信的通信处理器。 图 11 4a和图 11 4b分别说明了多处理器系统与多计 算机系统的区别。 多处理器系统特点：软件设计简单，易 实现，硬件设计比较复杂。 多计算机系统特点：正好相反。 图 11 4a 多处理器系统 图 11 4b 多计算机系统 MIMD并行计算机设计中的互 连网络问题 MIMD并行计算机设计中面临的问题之 一：互连网络。 多计算机系统中用互连网络把多个计算 机连接是显而易见的，多处理器系统同 样存在这个问题。 11.3.1 多处理器系统 根据共享内存的实现方式可以把多处理器系统 分成三类： 分别是一致性内存访问（ Uniform Memory Access, UMA） 非一致性内存访问（ Non Uniform Memory Access, NUMA） 基于 cache的内存访问（ Cache Only Memory Access, COMA） 1. UMA多处理器系统 UMA计算机的特点是 CPU访问所有的内存模块 的时间都相同 ， 即读取每个内存字的时间是相等 的 。 访问速度按最慢内存模块为准 。 程序员不会 感觉有速度问题存在 ， 这就是一致的含义 。 这种 一致性可以保证系统的性能可以预测 ， 也有利于 程序员编写高效率代码 。 如图 11 5所示 图 11 5 基于总线的多处理器系统 每个 CPU都带有 Cache， 当同时操作内存中某 一块数据时，会出现 Cache一致性问题。例如， CPU1与 CPU2同时读取内存中一块数据到自己的 Cache中， CPU1先对 Cache内容进行了修改，此 后 CPU2读自己 Cache中数据就已成为旧内容，因 为 CPU1修改自己的 Cache后还没有写回内存，而 CPU2读的数据相对 CPU1来讲是旧数据。解决 Cache一致性问题有两种方法，一种是监听型的 Cache（ 本书不再详述，请查阅有关书籍），另 一种是 “ MESI”Cache一致性协议。 MESI协议是一种比较常用的写回 Cache一致性协议 ， 它 是用协议中用到的四种状态的首字母 （ M、 E、 S、 I） 来命名的 。 目前 ， Pentium 4和许多其他的 CPU都使用了 MESI协议来监听总线 。 每个 Cache项都处于下面四种状 态之一： （ 1） 无效 （ Invalid） 该 Cache项包含的数据无效 。 （ 2） 共享 （ Shared） 多个 Cache中都有这块数据 ， 内 存中的数据是最新的 。 （ 3） 独占 （ Exclusive） 没有其他 Cache包括这块数据 ， 内存中的数据是最新的 。 （ 4）修改（ Modified） 该项的数据是有效的，内存 中的数据是无效的，而且在其他 Cache中没有该数据项 的拷贝。 2. NUMA多处理器系统 NUMA系统也为所有 CPU提供单一的地址空 间 ， 与 UMA不同处是靠近 CPU的内存模块的 访问速度比其他的内存模块快得多 。 NUMA计算机的主要特点： （ 1） 所有的 CPU都看到一个单一的地址空间 。 （ 2） 使用 LOAD和 STORE指令访问远程内存 。 （ 3）访问远程内存比访问本地内存慢。 NUMA计算机也存在 Cache一致性问题，除前 面介绍过的 MESI协议外，还有一个 SCI （ Scalable Coherent Interface， 可伸缩的一致性接 口）的 Cache一致性协议。 3. COMA多处理器系统 在 COMA系统中 ， 把每个 CPU的主存看成 Cache 来处理 ， 物理地址空间被划分成 Cache块 ， 这些 块根据需要在系统中来回移动 ， Cache块不再有 宿主计算机了 。 它要解决的新问题 :如何对 Cache块进行寻址和 Cache块丢弃了最后一个拷贝怎么办 。 COMA系统号称比 NUMA有更好的性能，但 实际建造的 COMA系统很少。 11.3.2 多计算机系统 多处理器系统的缺点 :规模扩展受到限制，通 常百个左右 CPU规模，同时要用大量硬件实现， 它的最大规模是几百个 CPU以内。 多计算机系统的特点 :每个 CPU都有自己的私 有内存， CPU不能访问其他 CPU内存，不能再 用 LOAD和 STORE指令访问任意内存模块，而 要用 send和 receive这样的原语相互传递消息。 每个结点通过高性能互连网络连接起来 图 11 6 多计算机系统结构 多计算机系统一般分成两大类： MPP和 COW。 1. MPP大规模并行处理机 （ Massively Parallel Processor） 这是一种价值数百万到上亿美元的超级计算机 系统 。 MPP系统已取代了原有 SIMD计算机 、 向 量超级计算机和阵列处理机 ， 成为当今大型机 、 巨型机的主流 。 大多数的 MPP系统都使用标准的 CPU作为它们 的处理器 。 大的系统都使用几百片以上的 CPU集合而成 ， 巨 型机使用几千片 CPU。 MPP有三大特点，第一为它使用了高性能的私 用的互连网络，可以在低时延和高带宽的条件 下传递消息。 另一特点是它们具有强大的输入输出能力。 第三个特点是如何进行容错。在使用数千个 CPU的情况下，每星期有若干 CPU失效是常见的 事情。如果，因一个 CPU失效，而导致运行一天 的任务被中止是不能容忍的。 MPP系统还需要使用大量定制的软件和库 。 2. COW工作站集群 （ Cluster of Workstation） 它是另一种多计算机系统 ， 也被称为工作站网络 。 COW系统是由数百台 PC机或者工作站通过商用 网络连接在一起构成的 。 COW系统主要有两种：集中式和分散式 集中式的 COW是装在一个大机架上的工作站或 者 PC机的集群 ， 这些计算机都是同构的 ， 而且 除了网卡和磁盘之外没有其他的外设 。 这是当今 第五代计算机的模型 。 11.3.3 集群机系统 Cluster 1. Cluster简介 计算机体系结构的研究就是当时的超级计 算机的研究，超级计算机共经历了五代。第 一代为早期的单芯片系统，第二代为向量处 理系统，第三代为大规模并行处理系统，第 四代为共享内存处理系统，第五代为集群系 统，目前全球五百强超级计算机排名已经有 半数以上是集群式系统。 第三代计算机（ MPP）与第五代计算机 : 相同：（ Cluster）在体系结构上是同构的，同属 于分布式内存处理方式（ DMPDistributed Memory Processing） 差别：是否采用物美价廉的普通商品组件。 MPP 与 Cluster从互连角度看，区别在于 MPP使用专 用高性能互连网络，而 Cluster使用商用网络。 从 CPU角度看 MPP要用单独设计的高性能处理 器，而 Cluster采用高性能成品处理器，从价格 方面看， MPP比 Cluster要贵的多。 集群机系统的主要生命力来自其经济有效性， 它采用高性能的普通日用品 IA芯片、公开系统 的主板、免费的公开源码操作系统与并行编程 接口，使超级计算机系统的造价告别了天文数 字，让具有一般规模的公司都用的起。基于集 群机特点，它的规模可大可小。 2. Linux集群的特点 集群机根据采用的 操作系统不同而称为某某集 群，例如采用 Linux就称为 Linux集群，采用 UNIX就称为 UNIX集群。下面介绍 Linux集群的 特点。 Linux集群可分为三类： 第一类是高可用性集群，运行于两个或多个节 点上，目的是在系统出现某些故障的情况下， 仍能继续对外提供服务。 第二类是负载均衡集群，目的是提供和节点个 数成正比的负载能力，这种集群很适合提供大 访问量的 Web服务。 第三类是超级计算集群，按照计算关联程度的 不同，又可以分为两种。一种是任务片方式， 要把计算任务分成任务片，再把任务片分配给 各节点，在各节点上分别计算后再把结果汇总， 生成最终计算结果。另一种是并行计算方式， 节点之间在计算过程中大量地交换数据，可以 进行具有强耦合关系的计算。 CSM 包含多种组件，使 Linux 群集的管理更加 容易： 分布式管理服务器 事件应答资源管理器。 远程硬件控制 配置文件管理 分布式 Shell：能够在群集的所有节点上远程运 行命令和脚本，并可以选择组合多个服务器的输 出结果。 11.4 第六代超级计算机概念 这是一个比较超前的概念，目前并没有得到普 遍认可，本书把两位专家的见解供读者阅读， 这两位专家是李晓渝和邓越凡。李晓渝 巨 星超级计算技术有限公司总裁，曾任斯坦福大 学的首席系统设计师；邓越凡 南开大学计 算研究所所长，美国纽约州立大学石溪分校教 授。 在第五代超级计算机的基础上将性能与规模提 升至少一个数量级 ， 向每秒千万亿次 （ Pflops） 的目标挺进 。 第六代超级计算机概念是依据超级 计算机发展历史而提出的 。 它不针对计算模式和 体系结构而定义 ， 本质上还是以到目前为止的主 流冯 诺依曼体系和半导体材料芯片为基础 。 第 六代超级计算机的十项指标： 高扩展能力 （ High Scalability） 高性能节点比 （ High Performance Node Ratio） 高整体系统均衡优化 （ High Over-all System Balance and Optimization） 高可用性与可持续性 （ High Availability and Sustainability） 高性能密度 （ High Performance Density） 高机动性 （ High Mobility and Portability） 高可管理性 (High Manageability) 高标准化与普适性 (High Standardization and Commoditization)。 高经济有效性 (High CostEffectiveness) 高性能能耗比 (High Performance Power Ratio)