网格计算与PC-FARM的使用

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,#,网格计算与PC-FARM的使用,王永刚,May 19,2003,主要内,容,容,什么是,网,网格计,算,算,PC-FARM的结,构,构,PC-FARM的使,用,用方法,一.网,格,格计算,(,(GridComputing,),),基本概,念,念（HistoricalConsideration）,高性能,计,计算(High-PerformanceComputing,),),大规模,科,科学问,题,题，象,天,天气预,报,报、地,形,形分析,和,和生物,制,制药等,存储和,处,处理海,量,量数据,，,，象数,据,据挖掘,、,、图象,处,处理和,基,基因测,序,序,高能物,理,理的事,例,例重建,和,和模拟,高吞吐,计,计算(High-throughputComputing),SMP,（,（Symmetric Multi-Processor）,集群（Cluster）系,统,统与SMP比较,高性能,集,集群,网格计,算,算继续,集群与SMP,的,的性能,比,比较,返回,网格计,算,算的特,点,点,网格计,算,算是一,种,种高性,能,能计算,网格研,究,究来源,于,于美国,联,联邦政,府,府过去,十,十年来,资,资助的,高,高性能,计,计算科,研,研项目,。,。从1992年美国,总,总统克,林,林顿提,出,出“信,息,息高速,公,公路”,计,计划，,开,开始了,下,下一代,互,互联网,（,（NGI,）,）研究计,划,划。,异质网,络,络,分布式,（,（地理,上,上）,21世,纪,纪的主,流,流计算,技,技术,Globus,网格与,中,中国,网格技,术,术被称,为,为网络,技,技术发,展,展的第三次,浪,浪潮。网络,技,技术的,前,前两次,浪,浪潮（,互,互联网,和,和万维,网,网），,中,中国都,没,没有参,与,与世界,上,上核心,技,技术的,创,创新工,作,作。我,国,国的计,算,算机产,业,业，在,总,总体上,落,落后于,西,西方国,家,家，一,个,个重要,原,原因是,“,“文化,大,大革命,”,”使我,们,们错过,了,了参与,发,发明网,络,络的前,两,两个浪,潮,潮。,从1969年,至,至今，,互,互联网,发,发展至,今,今已经34年,了,了，出,现,现了3180,个,个技术,标,标准文,档,档（RFC）。我,国,国科技,界,界仅参,与,与了一,个,个技术,标,标准文,档,档的制,定,定。那,就,就是1996,年,年3月,（,（互联,网,网第一,个,个标准,发,发明27年后,，,，TCP/IP协议,发,发明22年后,）,）胡道,元,元教授,牵,牵头制,定,定的中,文,文字符,编,编码标,准,准（RFC1922）。,从1989年,至,至今，,万,万维网,（,（Web）发,展,展至今,也,也近14年了,，,，出现,了,了46,个,个技术,标,标准，,我,我国科,技,技界参,与,与制定,的,的技术,标,标准一,个,个也没,有,有。,根据Internet和Web发,展,展的历,史,史，网,格,格的重,要,要技术标,准,准将在2004,-,-2005出,现,现。这,个,个技术,将,将主导2004-2020,年,年的信,息,息技术,领,领域发,展,展趋势,。,。,网格是,中,中国计,算,算机技,术,术发展,的,的一个,契,契机。,国内的,网,网格项,目,目,Vega GridProject（ICT,）,）,Scientific DataGrid,(,(AC,),),Chinese UniversityGrid,(,(ME,),),ShandongUniversity，1/12,HEPDataGrid(IHEP),国外的,网,网格项,目,目,美国政,府,府从十,年,年前就,开,开始投,资,资了，,累,累计用,于,于网格,技,技术的,基,基础研,究,究经费,已,已近五,亿,亿美元,。,。,美国军,方,方更为,积,积极。,美,美国国,防,防部已,在,在规划,实,实施一,个,个宏大,的,的网格,计,计划，,叫,叫作“,全,全球信,息,息网格,”,”（GlobalInformationGrid），预计在2020年完成,。,。作为,这,这个计,划,划的一,部,部分，,美,美国海,军,军和海,军,军陆战,队,队已先,期,期启动,一,一个160亿美元,的,的八年,项,项目，,包,包括系,统,统的研,制,制、建,设,设、维,护,护和升,级,级。,英国政,府,府已决,定,定投资1亿英镑,于,于网格,项,项目。,国外的,网,网格项,目,目（续,）,）,国家计,算,算机科,学,学联盟NPACI（NSF),国家技,术,术网格NTG（NSF),分布式万亿次,级,级计算,设,设施DTF（NSF）,IPG,-,-InformationPowerGrid（NASA）,ASCI Grid,（,（DOE),Data Grid,（,（EU,）,）,二.PC-FARM,的,的结构,PC-FARM的结,构,构（续,）,）,RAID盘，1TB,，,，7/8的容,量,量，安,全,全（两,个,个备用,盘,盘）,文件服,务,务器与,其,其他主,机,机以千,兆,兆位端,口,口连接,，,，高吞,吐,吐量,UPS,电,电源，5000VA,，,，网络,监,监控,Linux支,持,持的摄,像,像头，,实,实时监,控,控,用户必,须,须通过hgfarm,才,才能到,达,达PC,-,-FARM,三.PC-FARM,的,的使用,网格计,算,算至少,需,需要具,备,备三种,基,基本功,能,能,l任务管,理,理用,户,户通过,该,该功能,向,向网格,提,提交任,务,务、为,任,任务指,定,定所需,资,资源、,删,删除任,务,务并监,测,测任务,的,的运行,状,状态。,l任务调,度,度用,户,户提交,的,的任务,由,由该功,能,能按照,任,任务的,类,类型、,所,所需资,源,源、可,用,用资源,等,等情况,安,安排运,行,行日程,和,和策略,。,。,l资源管,理,理确,定,定并监,测,测网格,资,资源状,况,况，收,集,集任务,运,运行时,的,的资源,占,占用数,据,据。,使用SunONE GridEngine 5,.,.3就可以,实,实现上,述,述三个,功,功能。,我们的PC-FARM还不,是,是真正,的,的网格,计,计算，,只,只能算,作,作网格,计,计算略,低,低一级,的,的形式,集,群,群计算,。,。,Grid Engine的,使,使用,条件,在hgfarm上有,帐,帐号和HOME目录,启动QMON,在你所,在,在的机,器,器（比,如,如hepg15）输,入,入以下,命,命令：,sshhgfarm qmon,1.,启,启动QMON,主,主界面,每个按,钮,钮的说,明,明（1,）,）,转到作,业,业控制,窗,窗口,每个按,钮,钮的说,明,明（2,）,）,每个按,钮,钮的说,明,明（3,）,）,2.,提,提交作,业,业,脚本示,例,例,运行广,延,延大气,簇,簇射模,拟,拟程序corsika,目录/home/wangyg/corsika,可执行,文,文件为qgsjet（不能直,接,接提交,）,）,脚本run01.sh:,1#,!,!/bin,/,/bash,2cd/corsika,3.,/,/qgsjet./inputs001,4,书写SHELL脚本,不要有,后,后台运,行,行符号,（,（&）,末尾最,好,好有一,空,空白行,扩展的,选,选项,1#,!,!/bin,/,/bash,#$,-,-S,/,/bin/bash,3#,$,$-cwd/corsika,4#,$,$-N run01,5cd/corsika,6.,/,/qgsjet,高,高能物,理,理研究,室,室计算,机,机系统,使,使用指,南,南,高,高能物,理,理研究,室,室PC,-,-FARM使,用,用指南,