《并行计算》课程复习

并行计算课程总结与复习第一篇并行计算硬件平台：并行计算机Chi并行计算与并行计算机结构模型1.1计算与计算机科学1.2单处理机与指令级并行1.3多核处理器与线程级并行何谓多核处理器及意义微处理器中的并行方式?ILP,TLP,多任务OS,SMT,CMP,虚拟化技术Intel超线程技术1.4并行计算机体系结构并行计算机结构模型?SISD,SIMD,MISD,MIMD;?SIMD,PVP,SMP,MPP,COW(Cluster),DSM并行计算机访存模型?UMA,NUMA,COMA,CC-NUMA,NORMA?不同存储结构的并行机系统(P20图1.11)1.5更多的并行计算概念PFLOPS,TFLOPS,GFLOPSTOP500中的Rmax和Rpeak指标Ch2并行计算机系统互连与基本通信操作2.1并行计算机互连网络并行计算机的互连方式?静态互连：LA(LC),MC,TC,HC;(P42表2.1各种网络特性表)动态互连：Bus,CrossbarSwitcher,MIN(MultistageInterconnectionNetworks)?特别地，标准网络互连：FDDI,快速以太网，Myrinet,InfiniBand2.2-2.5通信代价公式SF和CT基本公式SF和CT在一维环、带环绕的Mesh、超立方上的通信代价公式Ch3典型并行计算机系统介绍(略)3.1共享存储多处理机系统3.2分布存储多计算机系统3.3分布共享存储计算机系统3.4机群系统Ch4并行计算性能评测4.1基本性能指标4.2加速比性能定律Amdahl,Gustafson,Sun&Ni定律4.3可扩放性评测标准（略）可扩放性的含义三个评测标准：等效率度量，等速度度量，平均延迟度量4.4基准测试程序（略）SPEC,LinPACK第二篇并行计算理论基础：并行算法设计Ch5并行算法与并行计算模型5.1并行算法的基础知识并行算法的定义并行算法的表达并行算法的复杂度：运行时间、处理器数目、成本及成本最优、加速比、并行效率、工作量及工作量最优并行算法的WT表示：Brent定理5.2并行计算模型PRAM模型：SIMD-SM,又分CRCW（CPRAM,PPRAM,APRAM）,CREW,EREWSIMD-IN模型：SIMD-DM异步APRAM模型：MIMD-SMBSP模型：MIMD-DM,块内异步并行，块间显式同步LogP模型：MIMD-DM，点到点通讯Ch6并行算法基本设计策略并行算法的三种设计策略：串改并，全新设计，借用法A及其不例：快排序、前缀和/*着色、所有点对最短路径Ch7并行算法常用设计技术划分设计技术：均匀划分（PSRS排序）、对数划分（并行归并排序）、方根戈扮（Valiant归并排序）、功能划分（m,n）-选择）分治设计技术：双调归并网络平衡树设计技术：求最大值、计算前缀和倍增设计技术：表序问题、求森林的根流水线技术：五点的DFT计算、4流水线编程实例Ch8并行算法一般设计过程PCAM的含义PCAM设计方法的四个阶段和每个阶段的任务与目标（略）域分解和功能分解（略）第三篇并行计算理论基础：并行数值算法Ch9稠密矩阵运算9.1矩阵的划分带状划分和棋盘划分，有循环的带状划分和棋盘划分9.2矩阵转置网孔和超立方连接的算法及其时间分析（棋盘划分）9.3矩阵向量乘法带状划分的算法及其时间分析棋盘划分的算法及其时间分析Systolic算法（略）9.4矩陥乘法简单并行分块算法Cannon算法及其计算示例Fox算法及其计算示例DNS算法及其计算示例（略）Systolic算法（略）ChlO线性方程组的求解回代求解上三角形方程组的并行算法及其数据划分方法三对角方程组的奇偶规约求解法Gauss-Seide迭代法的并行化?异步并行化算法?小规模并行化算法（针对五点格式产生的线性方程组）?红黑着色并行算法（针对五点格式产生的线性方程组）Chll快速傅立叶变换FFT离散傅里叶变换（DFT）定义及其0（22）算法串行FFT蝶式分治算法的计算原理、伪代码及其递归计算流图串行FFT分治递归算法的计算原理SIMD-MC上的FFT算法（略）SIMD-BF上的FFT算法及其时间分析Chl2数值计算的基本支撑技术（略）网格生成图的划分稀疏线性系统求解器算法和软件科学计算可视化第四篇并行计算软件支撑：并行编程Chl3并行程序设计基础基本概念和术语Chl4共享存储系统并行编程OpenMP编程Chl5分布存储系统并行编程MPI编程Chl6并行程序设计环境与工具（略）AIntel的ParallelStudio补充篇GPU体系结构及编程术语：GPU,GPGPUNVIDIAG80的体系结构?SM的组成存储器：层次结构和特点，全局存储器的coalescedmemoryaccess,共享存储器的存储体冲突?线程组织结构：线程、线程块、线程网格，Warp执行机制?同步：线程块内和块间的同步，CPU和GPU间的同步CUDA编程（略）CUDA程序的性能优化（略）矩阵乘法及其优化（略）