并行体系结构的发展之路oweroinrese

,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,并行体系结构的发展之路,033327 王庆龄,032116 宋佳思,目录,引言,并行计算机发展的推动力,并行体系结构的分类,并行体系结构的发展过程,并行体系结构的展望,引言,并行计算机的定义,体系结构巨大变化,CPU性能发展,软硬件技术进步,并行计算机发展的推动力,科学与工程计算领域对并行计算能力的要求总是永无止境的。,计算机技术、网络技术的迅速发展及其对经济与生活影响的日益深入,并行计算机体系结构的发展和处理器、存储器以及网络互连技术的发展密不可分,计算机并行体系结构的分类,Flynn分类法,其弱点,计算机体系结构的分类,Flynn分类法的扩展:,根据内存的物理分布、逻辑映射、读取方式,可以将MIMD类并行计算机系统进一步细分为共享内存，虚拟共享内存，和分布式内存三大类,这三类并行系统所使用的编程模式有共享内存和消息传递，以及两种模式同时使用的混合模式,共享内存(UMA/SMP),所有共享内存系统的共同特点是：计算机系统具有可以被所有处理器直接存取的共享内存空间。,由一个操作系统控制，并且整个系统仅有一个地址空间；各个处理器在内存的存取上是平等的，处理器存取每个内存单元的代价是一致的,虚拟/分布式共享内存,内存不再是集中位于系统中的某一区域，而是物理分布在整个系统中；,这种系统中连接处理器与内存的网络不再是简单的、单一的总线/交叉开关/其他网络结构，而是一种分级混合式网络结构。,在用户看来，这种系统具有共享内存系统的所有特征。,分布式内存,没有一个共享的、囊括系统所有物理内存的空间。,分布式内存系统所使用的编程模式是消息传递，系统的任何一个结点都具有独立的操作系统，能独立运行,这类系统又被一些人称为多处理机系统。,可以进一步分为三个子类：,分布式内存系统分类,大规模并行处理（MPP，Massively Parallel Processing）,指那些使用比较专有的、非大规模商品化的硬件和软件，紧耦合的分布式内存计算机系统；,分布,式,式内,存,存系,统,统分,类,类,Beowulf集,群,群,它的,每,每个,处,处理,结,结点,都,都使,用,用量,产,产的,商,商用,计,计算,机,机系,统,统，,互,互连,网,网络,也,也使,用,用量,产,产的,商,商用LAN/ATM网,络,络。,Beowulf集,群,群也,被,被称,为,为工,作,作站,集,集群,（,（COW,，,，ClusterofWorkstations,）,），,或,或者,工,工作,站,站网,络,络。,分布,式,式内,存,存系,统,统分,类,类,SMP集,群,群,它的,每,每个,结,结点,都,都是,一,一个SMP系,统,统，,互,互连,网,网络,也,也使,用,用类,似,似Myrinet,的,的高,速,速网,络,络。,SMP集,群,群仍,然,然可,以,以适,用,用以MPI（MessagePassingInterface）,为,为代,表,表的,消,消息,传,传递,编,编程,模,模式,。,。,另外,，,，,集,集群,较,较之Beowulf集,群,群，,可,可以,支,支持,以,以MPI+OpenMP为,代,代表,的,的混,合,合编,程,程模,式,式。,并行,体,体系,结,结构,的,的发,展,展过,程,程,60,年,年代,初,初期,主要,是,是共,享,享存,储,储多,处,处理,器,器系,统,统,当时,的,的IBMSystem360是,这,这一,时,时期,的,的典,型,型代,表,表。,（,（下,图,图IBMSystem360,）,）,IBMSystem360,并行,体,体系,结,结构,的,的发,展,展过,程,程,伊利,诺,诺依,大,大学,和,和Burroughs,公,公司,此,此时,开,开始,了,了IlliacIV,计,计划,。,。,当一,台,台规,模,模大,大,大缩,小,小了,的,的16CPU系,统,统终,于,于在1975,年,年出,现,现时,，,，整,个,个计,算,算机,界,界已,经,经发,生,生了,巨,巨大,的,的变,化,化。,并行,体,体系,结,结构,的,的发,展,展过,程,程,首先,是,是存,储,储系,统,统概,念,念的,彻,彻底,革,革新,。,。虚,拟,拟存,储,储和,缓,缓存,的,的普,遍,遍应,用,用。IBM360/85,系,系统,与,与360/91反,映,映了,这,这一,时,时期,的,的主,要,要变,化,化（,上,上图360/91，,下,下图360/85,）,）,并行,体,体系,结,结构,的,的发,展,展过,程,程,其次,是,是半,导,导体,存,存储,器,器开,始,始代,替,替磁,芯,芯存,储,储器,。,。CDC7600,（,（,下,下图CDC7600,）,）,率,率先,全,全面,采,采用,半,半导,体,体存,储,储器,，,，磁,芯,芯存,储,储器,从,从此,退,退出,了,了历,史,史舞,台,台。,与,此,此,同,同,时,时,，,，,集,集,成,成,电,电,路,路,也,也,出,出,现,现,了,了,并,行,行,体,体,系,系,结,结,构,构,的,的,发,发,展,展,过,过,程,程,1976,年,年CRAY1,问,问,世,世,以,以,后,后,，,，,向,向,量,量,计,计,算,算,机,机,从,从,此,此,牢,牢,牢,牢,地,地,控,控,制,制,着,着,整,整,个,个,高,高,性,性,能,能,计,计,算,算,机,机,市,市,场,场,。,。,并,行,行,体,体,系,系,结,结,构,构,的,的,发,发,展,展,过,过,程,程,微,处,处,理,理,器,器,的,的,出,出,现,现,则,则,使,使,并,并,行,行,计,计,算,算,机,机,的,的,体,体,系,系,结,结,构,构,迈,迈,出,出,了,了,另,另,一,一,大,大,步,步,。,。,卡,卡,内,内,基,基,梅,梅,隆,隆,大,大,学,学,开,开,始,始,进,进,行,行,共,共,享,享,存,存,储,储,多,多,处,处,理,理,器,器,系,系,统,统,的,的,研,研,究,究,。,。C.mmp,就,就,是,是,这,这,一,一,研,研,究,究,的,的,具,具,体,体,成,成,果,果,。,。,（,（,下,下,图,图C.mmp,）,）,并,行,行,体,体,系,系,结,结,构,构,的,的,发,发,展,展,过,过,程,程,80,年,年,代,代,稍,稍,后,后,出,出,现,现,了,了,非,非,常,常,适,适,合,合,于,于SMP,方,方,式,式,的,的,总,总,线,线,协,协,议,议,，,，,而,而,伯,伯,克,克,利,利,加,加,州,州,大,大,学,学,则,则,扩,扩,展,展,性,性,地,地,提,提,出,出,了,了Cache,一,一,致,致,性,性,问,问,题,题,的,的,处,处,理,理,方,方,案,案,。,。,同,一,一,时,时,期,期,，,，,基,基,于,于,消,消,息,息,传,传,递,递,机,机,制,制,的,的,并,并,行,行,计,计,算,算,机,机,也,也,开,开,始,始,不,不,断,断,涌,涌,现,现,。,。,例,例,如,如InteliPSC,系,系,列,列,（,（,下,下,图,图InteliPSC,）,）,并,行,行,体,体,系,系,结,结,构,构,的,的,发,发,展,展,过,过,程,程,向,量,量,计,计,算,算,机,机,渐,渐,渐,渐,衰,衰,落,落,下,下,去,去,了,了,。,。,数,数,据,据,并,并,行,行,方,方,式,式,到,到,了,了80,年,年,代,代,中,中,期,期,又,又,开,开,始,始,逐,逐,渐,渐,复,复,兴,兴,。,。,并,行,行,体,体,系,系,结,结,构,构,的,的,发,发,展,展,过,过,程,程,80,年,年,代,代,末,末90,年,年,代,代,初,初,，,，,共,共,享,享,存,存,储,储,器,器,方,方,式,式,的,的,大,大,规,规,模,模,并,并,行,行,计,计,算,算,机,机,又,又,获,获,得,得,了,了,新,新,的,的,发,发,展,展,。,。,90,年,年,代,代,以,以,来,来,，,，,主,主,要,要,的,的,几,几,种,种,体,体,系,系,结,结,构,构,开,开,始,始,走,走,向,向,融,融,合,合,。,。,不,过,过,，,，IBM,近,近,年,年,来,来,大,大,获,获,成,成,功,功,的,的SP1,、,、SP2,系,系,列,列,机,机,群,群,系,系,统,统,走,走,的,的,则,则,是,是,另,另,外,外,一,一,条,条,路,路,线,线,。,。,面,面,向,向,的,的,是,是,通,通,用,用,的,的,应,应,用,用,领,领,域,域,并行体,系,系结构,展,展望,目前的,并,并行计,算,算机系,统,统则主,要,要有四,类,类:,第一类,是,是多向,量,量处理,系,系统,如,如CrayYMP90、NECSX3和FujitsuVP2000等;,第二类,是,是基于,共,共享存,储,储的多,处,处理机,（,（SMP）系,统,统,如SGIPowerChallenge、曙,光,光1号,等,等;,第三类,是,是基于,分,分布存,储,储的大,规,规模并,行,行处理(MPP)系,统,统,如IntelParagon、IBMSP2,、,、曙光1000等；,第四类,是,是基于RISC工作,站,站或高,档,档微机,通,通过高,速,速互连,网,网络连,接,接而构,成,成的机,群,群计算,机,机系统,，,，如清,华,华同方,探,探索集,群,群计算,机,机等。,并行体,系,系结构,展,展望,实现上,述,述第一,和,和第三,类,类系统,由,由于受,研,研制费,用,用高、,售,售价高,等,等因素,的,的影响,其市,场,场受到,一,一定的,限,限制。,第二类,系,系统由,于,于共享,结,结构的,限,限制,系,系统的,规,规模不,可,可能很,大,大。,由于机,群,群系统,计,计算机,具,具有投,资,资风险,小,小、可,扩,扩展性,好,好、可,继,继承现,有,有软硬,件,件资源,和,和开发,周,周期短,、,、可编,程,程性好,等,等特点,，,，目前,已,已成为,并,并行处,理,理的热,点,点和主,流,流。这,种,种发展,趋,趋势也,恰,恰好符,合,合了专,家,家对最,高,高水平,的,的计算,机,机技术,做,做过的,预,预测。,机群系,统,统研究,目前国,内,内外许,多,多科研,机,机构都,在,在对机,群,群系统,下,下的通,信,信技术,进,进行深,入,入的研,究,究，下,表,表中列,举,举了在,机,机群系,统,统中实,现,现的几,种,种经典,的,的通信,子,子系统,。,。,机群系,统,统研究,目前，,机,机群系,统,统大多,数,数采用,商,商用高,性,性能工,作,作站或,高,高档PC，结,点,点的运,算,算速度,问,问题不,是,是很突,出,出，因,而,而主要,的,的研究,方,方面是,在,在提高,系,系统的,并,并行效,率,率，使,系,系统的,使,使用更,为,为方便,上,上，包,括,括建立,高,高效的,通,通信系,统,统，有,效,效地管,理,理全局,资,资源和,提,提供友,好,好的并,行,行应用,程,程序开,发,发环境,等,等。,机群系,统,统之所,以,以能够,从,从技术,可,可能发,展,展到实,际,际应用,主,主要是,它,它与传,统,统的并,行,行处理,系,系统相,比,比有以,下,下几个,明,明显的,特,特点：,机群系,统,统研究,系统开,发,发周期,短,短。,用户投,资,资风险,小,小。,系统价,格,格低。,节约系,统,统资源,。,。,系统扩,展,展性好,用户编,程,程方便,机群系,统,统研究,跟传统,的,的RISC小,型,型机或,者,者由普,通,通的PC服务,器,器群比,较,较，机,群,群的优,势,势主要,体,体现在,以,以下几,个,个方面,：,：,机群系,统,统,整体框,架,架,曙光机,群,群系统,结,结构,曙光4000L面向,网,网格和HPC,机群系,统,统,方案,机群系,统,统研究,今后几,年,