平行策略

按一下以編輯母片標題樣式,按一下以編輯母片,第二層,第三層,第四層,第五層,*,*,*,第 17,章,章平,行,行策略,1,效能改善,的,的兩個基,本,本技術,平行策略,和管線技,術,術,2,平行電腦,多個硬體,複,複本,可以同時,運,運作,遍及電腦,結,結構的各,種,種階層內,部,部,結構師會,盡,盡量把平,行,行的基本,技,技術運用,在,在系統上,，,，發展出,完,完全由平,行,行策略所,控,控制的電,腦,腦結構，,稱,稱為平行,電,電腦。,3,平行特性,4,微觀 vs 巨觀,平行策略,是,是如此地,普,普遍，幾,乎,乎所有的,電,電腦系統,都,都具有某,些,些型式的,平,平行硬體,，,，我們常,使,使用微觀,平,平行來描,述,述：那些,確,確實具備,平,平行能力,，,，但隱藏,不,不易看見,的,的結構。,5,微觀平行,範,範例,ALU,執行整數,算,算術,比如：32位元的,互,互斥或閘,運,運算,暫存器,通用暫存,器,器可處理,多,多重位元,實體記憶,體,體,比如：64位元的,字,字組記憶,體,體系統,平行匯流,排,排結構,典型32,位,位元或64位元寬,的,的匯流排,6,巨觀平行,範,範例,多重相同,處,處理器：,比如：雙,處,處理器的PC,兩個平行CPU效,能,能依賴作,業,業系統,作業系統,負,負責程式,碼,碼的最佳,化,化控制,多重相異,處,處理器：,特殊的協,同,同處理器,比如，高,速,速影像電,腦,腦可以連,接,接四個顯,示,示器，一,個,個顯示器,使,使用一個,特,特殊的影,像,像處理器,，,，來進行,控,控制。,7,對稱 vs 非對,稱,稱,對稱平行,多個相同,元,元件同時,存,存在的系,統,統,比如，雙,處,處理器PC,非對稱平,行,行,多個同時,運,運作、但,功,功能各不,相,相同的元,件,件,比如，影,像,像協同處,理,理器和數,學,學協同處,理,理器都是,非,非對稱平,行,行。,8,細紋 vs 粗紋,細紋平行,以個別的,指,指令或資,料,料為單位,比如，影,像,像處理器,使,使用16,個,個平行硬,體,體單元，,來,來更新16個位元,組,組。,粗紋平行,以程式或,大,大型區塊,資,資料為單,位,位,比如，雙,處,處理器PC使用一,個,個處理器,來,來列印文,件,件，另一,個,個可能正,在,在編輯電,子,子郵件訊,息,息。,9,顯性 vs 隱性,隱性平行,硬體會自,動,動地處理,平,平行策略,，,，毋需任,何,何程式設,計,計師動手,來,來啟始或,控,控制。,顯性平行,需要程式,設,設計師來,控,控制每一,個,個平行單,元,元的執行,動,動作，稱,為,為顯性平,行,行。,10,平行結構,系統最主,要,要的特性,就,就在於平,行,行結構。,平行處理,器,器數量應,該,該達一定,的,的規模,比如：具,有,有32個,或,或64000個處,理,理器的電,腦,腦。,把二個處,理,理器加入PC，雖,然,然也是平,行,行策略，,但,但習慣上,稱,稱為雙處,理,理器電腦,。,。,加入四個,處,處理器的PC，被,稱,稱為四處,理,理器電腦,。,。,11,平行結構,分,分類(Flynn,分,分類法),12,SISD,（,（單一指,令,令單一資,料,料流）,SISD,描,描述無法,支,支援巨集,平,平行的結,構,構,沒有平行,的,的結構,又稱為順,序,序結構、,或,或單一處,理,理器結構,傳統的范,紐,紐曼結構,就,就是SISD,SISD,最,最重要的,特,特徵：,順序執行,指,指令，一,次,次只執行,一,一個指令,，,，每個指,令,令只能處,理,理單一資,料,料項目。,13,SIMD,（,（單一指,令,令多重資,料,料流）,SIMD,每,每一個指,令,令雖然只,能,能指定單,一,一運算動,作,作（比如,：,：整數加,法,法），但,可,可以要求,多,多個資料,項,項目同時,動,動作。,SIMD,電,電腦必須,具,具有充足,的,的硬體，,才,才有能力,同,同時處理,多,多筆資料,。,。,14,向量處理,器,器,SIMD,結,結構對某,些,些數值需,要,要相同的,運,運算，有,很,很好的工,作,作效率。,SIMD,結,結構又稱,為,為向量處,理,理器或陣,列,列處理器,。,。,SIMD,結,結構常用,於,於某些科,學,學應用程,式,式，處理,向,向量數學,、,、陣列計,算,算或一組,數,數值的浮,點,點運算。,15,傳統電腦,的,的正規化,16,向量電腦,的,的正規化,如果陣列,大,大小沒有,超,超過平行,硬,硬體的大,小,小，則底,層,層硬體可,以,以同時執,行,行陣列上,所,所有數值,的,的算術運,算,算。,如下：,V VQ;,如果陣列,大,大小超過,平,平行硬體,的,的容量，,就,就需要多,個,個步驟才,能,能完成運,算,算動作。,17,影像處理,器,器,典型的影,像,像硬體使,用,用順序位,元,元組，來,儲,儲存螢幕,每,每一個像,素,素的數值,。,。,如果想要,移,移動一個,正,正方形視,窗,窗，則軟,體,體必須拷,貝,貝某個區,域,域位置的,等,等效視窗,位,位元組到,另,另一個位,置,置，一次,一,一個位置,，,，慢慢移,動,動整個視,窗,窗。,在SIMD結構中,，,，程式設,計,計師可以,發,發佈一個,複,複製命令,，,，讓SIMD底層,硬,硬體會平,行,行複製多,重,重位元組,，,，效率更,快,快。,18,MIMD,（,（多重指,令,令多重資,料,料流）,描述平行,結,結構內的,每,每一個處,理,理器，可,以,以在相同,的,的時間，,各,各自獨立,地,地執行計,算,算。,MIMD,電,電腦允許,程,程式設計,師,師控制處,理,理器，讓,處,處理器各,自,自執行獨,立,立程式。,19,SMP（,對,對稱多重,處,處理器）,最知名的MIMD,就,就是SMP電腦結,構,構。,典型的SMP設計,具,具有N個,相,相同的處,理,理器，具,有,有相同的,指,指令集、,時,時脈速率,、,、記憶體,、,、以及外,部,部設備，,但,但可以各,自,自執行程,式,式。,比如：,CarnegieMellon大,學,學的C.mmp原,型,型機,Sequent公,司,司（現為IBM所,有,有）建立,的,的SMP,Encore公司,的,的Multimax SMP,20,SMP架,構,構圖,21,AMP（,非,非對稱多,重,重處理器,）,）,另,一,一,種,種,替,替,代,代SMP,設,設,計,計,的,的,方,方,法,法,稱,稱,為,為AMP,AMP,包,包,含,含N,個,個,處,處,理,理,器,器,，,，,可,可,在,在,同,同,一,一,時,時,間,間,運,運,作,作,，,，,但,但,是,是,不,不,一,一,定,定,採,採,用,用,相,相,同,同,處,處,理,理,器,器,。,。,AMP,設,設,計,計,常,常,用,用,於,於,特,特,定,定,的,的,任,任,務,務,比,如,如,，,，,使,使,用,用,處,處,理,理,器,器,來,來,管,管,理,理,磁,磁,碟,碟,儲,儲,存,存,設,設,備,備,。,。,使,用,用,處,處,理,理,器,器,來,來,最,最,佳,佳,化,化,影,影,像,像,的,的,顯,顯,示,示,任,任,務,務,。,。,22,AMP,結,結,構,構,AMP,結,結,構,構,遵,遵,循,循,主,主,僕,僕,方,方,法,法,主,處,處,理,理,器,器,：,：,一,一,個,個,（,（,或,或,一,一,組,組,）,）,處,處,理,理,器,器,控,控,制,制,整,整,體,體,執,執,行,行,（,（,負,負,責,責,最,最,佳,佳,化,化,整,整,體,體,控,控,制,制,）,）,僕,處,處,理,理,器,器,：,：,引,引,入,入,其,其,它,它,的,的,處,處,理,理,器,器,，,，,處,處,理,理,其,其,它,它,的,的,輔,輔,助,助,功,功,能,能,，,，,像,像,是,是,算,算,術,術,計,計,算,算,或,或I/O,。,。,23,AMP,結,結,構,構,範,範,例,例,數,學,學,協,協,同,同,處,處,理,理,器,器,快,速,速,計,計,算,算,浮,浮,點,點,數,數,的,的,特,特,殊,殊,晶,晶,片,片,浮,點,點,數,數,計,計,算,算,速,速,度,度,遠,遠,比,比CPU,快,快,速,速,I/O,處,處,理,理,器,器,：,：,I/O,使,使,用,用,一,一,個,個,專,專,用,用,的,的,可,可,程,程,式,式,處,處,理,理,器,器,可,高,高,速,速,處,處,理,理,外,外,部,部I/O,（,（,不,不,影,影,響,響CPU,速,速,度,度,）,）,CPU,會,會,下,下,載,載,程,程,式,式,到,到I/O,處,處,理,理,器,器,I/O,處,處,理,理,器,器,負,負,責,責,所,所,有,有,的,的I/O,細,細,節,節,24,I/O,處,處,理,理,器,器,比,如,如,IBM,大,大,型,型,主,主,機,機,使,使,用,用,一,一,種,種,稱,稱,為,為,通,通,道,道,的,的,可,可,程,程,式,式I/O,處,處,理,理,器,器,。,。,CDC,結,結,構,構,使,使,用,用,週,週,邊,邊,處,處,理,理,器,器,（,（,簡,簡,稱,稱PP,）,）,來,來,處,處,理,理I/O,動,動,作,作,。,。,25,多,重,重,處,處,理,理,器,器,結,結,構,構,的,的,挑,挑,戰,戰,多,重,重,處,處,理,理,器,器,結,結,構,構,似,似,乎,乎,比,比,單,單,一,一,處,處,理,理,器,器,結,結,構,構,有,有,更,更,好,好,的,的,效,效,能,能,。,。,不,幸,幸,的,的,是,是,，,，,有,有,三,三,個,個,主,主,要,要,的,的,挑,挑,戰,戰,：,：,通,訊,訊,協,調,調,競,爭,爭,26,通,訊,訊,電,腦,腦,的,的,通,通,訊,訊,機,機,制,制,：,：,處,理,理,數,數,目,目,龐,龐,大,大,的,的,處,處,理,理,器,器,之,之,間,間,的,的,通,通,訊,訊,負,責,責,處,處,理,理,器,器,與,與,其,其,它,它,元,元,件,件,之,之,間,間,的,的,通,通,訊,訊,有,可,可,能,能,造,造,成,成,通,通,訊,訊,瓶,瓶,頸,頸,。,。,27,協,調,調,協,調,調,機,機,制,制,讓,讓,平,平,行,行,結,結,構,構,內,內,部,部,的,的,處,處,理,理,器,器,可,可,以,以,一,一,起,起,工,工,作,作,。,。,非,對,對,稱,稱,設,設,計,計,要,要,使,使,用,用,主,主,處,處,理,理,器,器,，,，,負,負,責,責,協,協,調,調,所,所,有,有,程,程,序,序,。,。,某,些,些,對,對,稱,稱,設,設,計,計,可,可,以,以,使,使,用,用,主,主,僕,僕,架,架,構,構,或,或,者,者,分,分,散,散,式,式,協,協,調,調,機,機,制,制,。,。,28,競爭,當多個處理,器,器同時存取,一,一個資源時,，,，稱為資源,競,競爭。,資源競爭會,造,造成平行結,構,構相當大的,挑,挑戰，隨著,處,處理器數目,的,的增加，相,關,關的競爭也,會,會跟著增加,。,。,29,多重處理器,的,的效能瓶頸,在多重處理,器,器環境下，,最,最多只能有,一,一個處理器,執,執行作業系,統,統，其它處,理,理器必須等,待,待。,記憶體競爭,同時存取記,憶,憶體必須使,用,用多埠記憶,體,體,多個處理器,多,多個快取，,可,可能出現快,取,取不一致的,問,問題。,I/O束縛,從I/O設,備,備取出資料,，,，耗費時間,。,。,一味增強計,算,算能力，也,無,無法降低整,體,體執行時間,。,。,30,速度提昇比,定,定義,速度提昇比=,其中，,是,是單一處,理,理器的執行,時,時間,則是多重處,理,理器的執行,時,時間,理想情況：,處,處理器數量,與,與速度提昇,呈,呈現線性增,加,加的現象。,31,理想和實際,的,的速度提昇,比