中国教育科研网格计划ChinaGrid进展金海课件

中国教育科研网格计划ChinaGrid进展金 海华中科技大学计算机学院2ChinaGrid：中国教育科研网格：中国教育科研网格教育部发起，在十五“211”二期支持下启动得到国家科技部863高性能计算重大专项支持目标：充分利用“中国教育科研网CERNET”优良的基础设施和它上面丰富、优质的各类资源，在中国乃至全世界建设一个最大、最先进、最实最大、最先进、最实用用的网格首批12所学校参加，目前已经发展成为20所高校已经初步形成5类典型应用v生物信息学，图象处理，计算流体力学，大学课程在生物信息学，图象处理，计算流体力学，大学课程在线，海量信息处理线，海量信息处理3中国教育科研网中国教育科研网(CERNET)中国第二大IP主干网v36个个PoP覆盖了所有省会城市覆盖了所有省会城市v主干网为主干网为2.5Gbps DWDMv总出国带宽超过总出国带宽超过800Mbps覆盖了200多个城市的1,300多所大学v1500多万用户多万用户v中国多数高校有自己的校园网中国多数高校有自己的校园网4CERNET-1的总体结构的总体结构 5建设内容校园网格平台建设ChinaGrid网格公共平台建设 网格应用平台及其典型应用建设v图像处理网格图像处理网格 v生物信息学网格生物信息学网格 v大学课程在线网格大学课程在线网格 v计算流体力学网格计算流体力学网格v海量信息处理网格海量信息处理网格6ChinaGrid（第一期）（第一期）7ChinaGrid(现在现在)8各学校网格平台建设情况各学校网格平台建设情况华中科技大学：华中科技大学：0.8万亿次，万亿次，5TB清华大学：清华大学：1.3万亿次，万亿次，20TB北京大学：北京大学：1.5万亿次，万亿次，10TB北京航空航天大学：北京航空航天大学：0.7万亿次，万亿次，10TB华南理工大学：华南理工大学：0.9万亿次，万亿次，20TB上海交通大学：上海交通大学：0.5万亿次，万亿次，9TB东南大学：东南大学：1.0万亿次，万亿次，19TB西安交通大学：西安交通大学：0.1万亿次，万亿次，2.5TB国防科技大学：国防科技大学：0.2万亿次，万亿次，5TB东北大学：东北大学：0.8万亿次，万亿次，5TB中山大学：中山大学：1.3万亿次，万亿次，10TB山东大学：山东大学：1.3万亿次，万亿次，18TB西北工业大学：西北工业大学：0.4万亿次，万亿次，2TB浙江大学：浙江大学：0.6万亿次，万亿次，3TB复旦大学：复旦大学：1.8万亿次，万亿次，6TB同济大学：同济大学：0.2万亿次，万亿次，1TB中国科技大学：中国科技大学：1.2万亿次，万亿次，5TB电子科技大学：电子科技大学：0.3万亿次，万亿次，2TB中国人民大学：中国人民大学：0.1万亿次，万亿次，0.5TB兰州大学：兰州大学：0.3万亿次，万亿次，1TBChinaGrid总能力：总能力：15万亿次，万亿次，150TB9ChinaGrid总体部署图总体部署图图像处理网格生物信息学网格远程教育网格大科防国清华学大大科华中学大山中学大京北大交海上大交安西学大北东工理南华航北学大南东学大东山流体力学网格海量信息网格理处C E R N E TChinaGrid公共支撑平台(CGSP)高性能计算环境(校园网格)10什么是什么是CGSP？ChinaGrid Supporting Platform,为为ChinaGrid建设建设和发展而研制的网格核心中间件和发展而研制的网格核心中间件符合符合OGSA架构，参照架构，参照WSRF规范实现规范实现CGSP预览版在预览版在GCC2004上公布，上公布，1.0版本在版本在2005年年1月月10日发布日发布CGSP开发组由华中科技大学、清华大学、北京大学开发组由华中科技大学、清华大学、北京大学、北京航空航天大学、上海交通大学的开发人员联合、北京航空航天大学、上海交通大学的开发人员联合组成，在清华大学信息技术国家实验室封闭开发半年组成，在清华大学信息技术国家实验室封闭开发半年目前已经有生物信息学、图像处理、计算流体力学等目前已经有生物信息学、图像处理、计算流体力学等的应用在该平台上调试通过的应用在该平台上调试通过11CGSP的应用现状的应用现状从从CGSP发布到现在，发布到现在，CGSP已经被下载超过已经被下载超过300次次目前目前ChinaGrid的所有学校校园网格平台已经全部采的所有学校校园网格平台已经全部采用用CGSP，成为国内第一个统一网格平台的国家级网，成为国内第一个统一网格平台的国家级网格系统格系统12ChinaGrid公共支撑平台体系结构公共支撑平台体系结构13GSIWS-SecurityCASSimpleCAData ManagementSecurityWSCoreResource ManagementInformation ServicesAuthz FrameworkRFTRLSOGSI-DAINew GridFTPXIOJAVAWS Core(WSRF)C WS Core(WSRF)MDS2WS-IndexPre-WSGRAMWS-GRAMCSF(contribution)pyGlobus(contributed)Python Bindings(contributed)Data Center(CGSP)Portal SDK(CGSP)Programming Toolkits(CGSP)Resource-Index(CGSP)HyperService(CGSP)Proxy(CGSP)MetaData-Man(CGSP)InterDomain(CGSP)Topologic(CGSP)RemoteDeploy(CGSP)Job Manager(CGSP)WorkFlow(CGSP)HotDeploy(CGSP)GT3.9和和CGSP14网格开发环境网格开发环境网格 PortalPortal 开发工具编程模型(RPC/并行/GridPPI+)资源封装工具安装工具包管理GUI作业定义工具域管理器域管理器信息服务信息服务服务元数据描述服务元数据描述用户管理策略协商虚拟接口管理模块服务元数据管理模块服务匹配选择模块QoS管理节点信息收集信息服务容错机制状态监控作业管理作业管理数据管理数据管理 服务容器服务容器用户视图组织统一文件访问接口数据存储代理存储资源管理文件元数据管理器副本策略副本目录作业提交服务部署工作流流程管理作业状态监控作业调度作业SLA管理服务远程部署服务注册生命周期管理SOAP消息服务监控状态报告资源SLA管理跨域身份映射信息管理信息管理信息元数据检索技术信息分类网格安全网格安全代理证书管理机制代理证书生成模块 认证中心(CA)SOAP加密传输域间登陆身份映射身份认证单点登陆资源访问控制ChinaGrid公共支撑平台公共支撑平台CGSP 1.015ChinaGrid组织出版的组织出版的网格系列丛书之一网格系列丛书之一2004年年10月于北京月于北京16CGSP的国际影响的国际影响ChinaGrid已经和已经和Globus联盟签订了联盟签订了MOU，将展开网格中间，将展开网格中间件的全面合作件的全面合作英国英国e-Science计划表示将计划表示将CGSP作为作为e-Science重点研究的重点研究的网格中间件之一网格中间件之一德国的德国的D-Grid项目将和项目将和ChinaGrid合作，采用合作，采用D-Grid的的Unicore客户端和客户端和CGSP服务器端服务器端新加坡拟与新加坡拟与ChinaGrid展开访问网格的合作展开访问网格的合作包括包括HP、Intel、Sun、IBM等在内的国际知名等在内的国际知名IT公司都纷纷公司都纷纷寻求和寻求和ChinaGrid展开合作展开合作171819AG4ChinaGrid进展：进展：GridAsia 200520http:/21生物信息学网格生物信息学网格22清华大学 硬件设备1.计算机系千亿次集群计算机，2.网络中心SUN 10000 机器，3.生物系的SGI Origin 2000 机器,提供的服务PClustalw,Protein docking,Euler,ATGC,Genscan,Glimmer,北京大学硬件设备1.生物信息中心 SUN Fire 48002.生物信息中心多台双奔四至强机器 3.生物信息中心 SUN Fire V880 4.生物信息中心浪潮英信NF420提供服务比对软件blast,数据库检索工具SRSEmbl,swissprot,pdb,pfam等多种数据库服务西安交大硬件设备1.IBM RS6000机群系统，2.交通大学接口服务器提供的服务 国防科技大学华中科大硬件设备浪潮天梭10000高性能计算集群 提供的服务基因分析软件GeneKey等华南理工大学硬件设备32位MPP Linux集群系统 64位的SMP计算平台 提供的服务1.mRNA分析软件sirnaPro等总结连接6个学校，10多台大型计算设备具有超过万亿次/秒浮点计算能力和超过5T的存储容量提供50多种生物信息软件/数据库服务每天超过5万人次的访问量华中科技大学华中科技大学23生物信息学网格应用Euler大规模大规模DNA序列拼接（清华大学）序列拼接（清华大学）SARS病毒序列分析（清华大学）病毒序列分析（清华大学）人类心血管相关基因的大规模分析（华中科技大学）人类心血管相关基因的大规模分析（华中科技大学）蛋白质三维结构预测（华南理工大学）蛋白质三维结构预测（华南理工大学）全基因组图谱拼装（国防科技大学）全基因组图谱拼装（国防科技大学）人类基因多态性研究及应用示范（西安交通大学）人类基因多态性研究及应用示范（西安交通大学）玉米雄性不育系的蛋白质组特征分析与应用示范（西玉米雄性不育系的蛋白质组特征分析与应用示范（西安交通大学）安交通大学）24序列比对结果序列比对结果25序列比对（没有网格）序列比对（没有网格）查找到能够提供序列比对服务的服务器登陆该服务器v学习使用方法学习使用方法v查看数据库的更新时间查看数据库的更新时间提交计算任务，获取计算结果（花费大量时间）重复以上3步，直到获取所有可访问服务器的比对结果分析结果，根据数据库的更新时间，去除重复的结果（花费大量时间）使用复杂、浪费时间、正确性不高使用复杂、浪费时间、正确性不高26网格环境下的序列比对网格环境下的序列比对用户使用简单v 通过网页提交任务通过网页提交任务v 等待获取最终的计算结果等待获取最终的计算结果系统自动更新和同步v 每天晚上每天晚上12：00国内数据库通过国内数据库通过CERNET从美国数据库更新数据库从美国数据库更新数据库，保持同步，保持同步v 每天早上凌晨每天早上凌晨4：00国内相关数据库相互更新，保持同步国内相关数据库相互更新，保持同步用户最后获取唯一比对结果，无需去除重复比对结果v 系统自动分割任务系统自动分割任务效率大大提高v 多台服务器同时比对序列的不同部分；计算结果最后整合多台服务器同时比对序列的不同部分；计算结果最后整合v 没有重复比对操作没有重复比对操作27图像处理网格图像处理网格28图像处理网格应用图像处理网格应用数字虚拟人的三维重建（华中科技大学）数字虚拟人的三维重建（华中科技大学）医疗图像诊断（中山大学）医疗图像诊断（中山大学）遥感图像处理（国防科技大学）遥感图像处理（国防科技大学）29数字化虚拟人头数字化虚拟人头30多个节点同时完成多个节点同时完成31计算流体力学网格计算流体力学网格32计算流体力学网格应用计算流体力学网格应用飞行器遗传优化设计（上海交通大学）飞行器遗传优化设计（上海交通大学）分子动力学并行算法（西安交通大学）分子动力学并行算法（西安交通大学）粉末冶金成形的模拟和优化（华南理工大学）粉末冶金成形的模拟和优化（华南理工大学）大型地质灾害预测（东北大学）大型地质灾害预测（东北大学）飞机和汽车设计中的计算电磁学（电子科技大学）飞机和汽车设计中的计算电磁学（电子科技大学）33大学课程在线网格大学课程在线网格34课程资源贡献情况课程资源贡献情况PK北京大学北京大学TS清华大学清华大学XJ西安交大西安交大SJ上海交大上海交大DB东北大学东北大学SD山东大学山东大学HN华南理工华南理工HZ华中科技华中科技DN东南大学东南大学HK香港城市大学香港城市大学DZ电子科技大学电子科技大学BH北航北航ZS中山大学中山大学通常一讲通常一讲1小时小时左右，有些比左右，有些比较长较长35用户用户IP地址分布（地址分布（2004年年8月月27日日-2005年年1月月16日）日）服务器服务器独立独立IP数数累计累计HTTP GET次数次数北京大学北京大学1153595868376北京大学北京大学226410970北京邮电北京邮电2922640255北航北航12110383清华大学清华大学818125083东北大学东北大学1358848936东南大学东南大学69671957中山大学中山大学93701260541服务器服务器独立独立IP数数累计累计HTTP GET次数次数山东大学山东大学1110128816中科大中科大95131093657西安交大西安交大3981697464上海交大上海交大528265055西北工大西北工大1318160240兰州大学兰州大学5101618136华中科技华中科技59864299华南理工华南理工387705687总独立总独立IP数：数：25,807；累计；累计HTTP GET：12,569,855应用情况应用情况全国至少有这全国至少有这么多人用过么多人用过“大学课程在线大学课程在线”总访问次数总访问次数（包括重复）（包括重复）36海量信息处理网格海量信息处理网格37数字博物馆首页数字博物馆首页38有关有关“马马”的搜索结果的搜索结果39总结总结ChinaGrid已覆盖全国超过已覆盖全国超过13个省市、个省市、20所高校的计算所高校的计算资源、存储资源和教育科研资源资源、存储资源和教育科研资源ChinaGrid聚合计算能力已经达到聚合计算能力已经达到15万亿万亿次，存储容次，存储容量达量达 150TBChinaGrid已成功部署生物信息学、流体力学、图像处理已成功部署生物信息学、流体力学、图像处理、海量信息处理、大学课程在线、海量信息处理、大学课程在线5类类应用应用ChinaGrid具有自主知识产权的网格核心中间件具有自主知识产权的网格核心中间件CGSP 4041http:/