网格体系结构

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,网格计算Grid Computing 肖侬,第三章网格体系结构,内 容,五层沙漏结构,开放网格效劳体系结构OGSA,Open Grid Service Architecture,Web Service 资源效劳框架WSRF,Web Service Resource FrameWork,网络计算体系结构的开展续,网格计算体系结构,层次体系结构,开放网格效劳体系结构OGSA,OGSIWSRFWSResource Framework,八十年代中后期,2004,自治多域服务联合计算,九十年代中期,2001,2002,多层网格体系结构,开放网格服务体系结构,OGSA,技术体系,OGSI,OGSA,技术体系,WSRF,元计算,计算网格,Grid的主要问题,在动态变化的、多机构组成的虚拟组织VO)内的协作资源共享和问题求解,允许分布的效劳和资源集成,采用通用的协议和根底支撑,获得较好的QOS效劳,一个虚拟组织例子:CERNs Large Hadron Collider,1800 Physicists,150 Institutes,32 Countries,100 PB of data by 2021;50,000 CPUs?,Grid Communities&Applications:Data Grids for High Energy Physics,Tier2 Centre 1 TIPS,Online System,Offline Processor Farm,20 TIPS,CERN Computer Centre,FermiLab 4 TIPS,France Regional Centre,Italy Regional Centre,Germany Regional Centre,Institute,Institute,Institute,Institute 0.25TIPS,Pentium II 300 MHz,Pentium II 300 MHz,Pentium II 300 MHz,Pentium II 300 MHz,Physicist workstations,100 MBytes/sec,100 MBytes/sec,622 Mbits/sec,1 MBytes/sec,HPSS,HPSS,There is a“bunch crossing”every 25 nsecs.,There are 100“triggers”per second,Each triggered event is 1 MByte in size,Physicists work on analysis“channels”.,Each institute will have 10 physicists working on one or more channels;data for these channels should be cached by the institute server,Physics data cache,PBytes/sec,622 Mbits/sec or Air Freight(deprecated),HPSS,HPSS,HPSS,Tier2 Centre 1 TIPS,Tier2 Centre 1 TIPS,Tier2 Centre 1 TIPS,Caltech 1 TIPS,622 Mbits/sec,Tier 0,Tier 1,Tier 2,Tier 4,1 TIPS is approximately 25,000,SpecInt95 equivalents,网格技术挑战,网格体系结构和网络计算模型,Internet活动规律和特性,网格计算的资源共享和协同的根底理论,Agent？,协同优化理论？,标准和协议体系,建立一个开放的信息处理根底设施平台,一个开放的体系结构、标准和协议，以形成信息获取、传输、访问和处理的单一虚拟系统根底平台,屏蔽异构平台、异构语言,网格技术挑战续,虚拟组织的管理和协同工作,基于效劳的协作集成技术等；,多个系统的协调和集成,效劳和应用的自治管理和优化,自动配置和部署,网格的高可靠和可用性技术,资源多层次和多方面的异构性,系统状态的不确定性,异构分布的环境高可靠的保证,单点失败不导致系统，,网格的平安机制和可信技术,多域的平安问题,访问控制模型,可信技术,网格技术挑战续,高度灵活的共享关系定义和共享资源的复杂高级控制,细粒度访问控制、代理,灵活，可应付许多资源类型和共享方式,可扩展大量资源、许多的参与者和程序模块,的调度和联合分配,记帐技术,各个站点同时履行资源分配的合约，具有事务性原那么,网格技术挑战续,海量分布数据的存储、分发、访问和管理,高速透明访问多个地点的海量存储系统,统一的数据操作和管理空间,结构化数据访问和管理,非结构化数据访问和管理，etc,网格资源与效劳的发现、组织和调度与管理的方法和算法,在线设备的数据自动注释和分类目录,高性能分布数据密集型系统必须使用网络级别、平台级别和构件级别的并行和流水线,高速系统的精确监控,对于算法分析、问题监测和动态自适应配置非常重要,资源、系统、应用的监控,网格系统的自治管理技术,灵活的、自治的资源管理自动的效劳器重启、数据迁移、拥塞防止等,网格技术挑战续,网格的编程模型和语言,我们需要突破传统的程序设计和并行程序设计语言与编程模型,MPIG？,网格环境下网格效劳的应用形态和高层shell语言,网格工作流语言和机制,面向效劳的工作流？,多域环境下的工作流,网格系统的自适应技术和机制,应用系统在异构分布环境中优化执行；,基于构件技术的网格应用开发环境和工具,面向应用领域的根底支撑工具和效劳。,对体系结构根本要求,在技术上，从应用的角度看：,不能破坏现有系统，不能重蹈覆辙分布操作系统,为应用提供单一分布资源全局视图和聚集各种分布的自治资源成为一个系统,不导致应用程序的重新编写,移植简单,对体系结构根本要求,不同组织之间的资源共享互操作是必不可少的,对资源直接访问，不单单是文件共享和交换,表达在各种资源构件之间和机制之间,标准的协议是至关重要的,允许跨节点的 interoperability,允许 shared infrastructure,需要标准的协议、效劳是重要的,标准的APIs/SDKs是重要的,允许应用可移植,没有标准协议互操作很难(every SDK speaks every protocol?),根本效劳的定义,可共享，防止重复开发和安装,E.g.,one port/service/protocol for remote access to computing,not one per tool/appln,E.g.,Certificate Authorities:expensive to run,网格体系结构设计,在技术上，从Grid 实现者的角度：,一个层次型中间件效劳集合like 现行的系统,按照现代软件系统的设计原那么，以效劳的方式为应用工具和应用的开发提供支持；,效劳的实现必须能够自由地使用各个层次上的功能和效劳进行构造。,这和许多系统的设计原那么不同,Grid“体系结构,从标准协议、效劳角度分析Grid 系统,结果是一个层次协议体系结构,五层沙漏体系结构,Ian Foster等描述了一种具有代表性的体系结构,沙漏结构设计原那么,保持参与的开销最小,核心协议较少的，要普遍支持,提供一些核心效劳为根底,类似OS内核，移植方便,管辖多种资源，允许局部控制,用来构建高层的、特定领域 的应用效劳,支持适应性,“IP hourglass model,Diverse global services,核心服务,Local OS,A p p l i c a t i o n s,高层功能向瓶颈局部的映射,瓶颈局部功能向底层的映射,瓶颈局部,Hourglass,Grid Architecture比较Internet Architecture,Application,构造层Fabric,“Controlling things locally”:Access to,&control of,resources,连通层,“Talking to things”:通讯(Internet protocols)&安全,资源层Resource,“共享单个资源”:协商访问,控制使用,聚合层,Collective,“管理多个资源”:无处不在的底层基础服务services,应用层,“Specialized services”:面向用户或面向应用的分布式服务 services,Internet,Transport,Application,Link,Internet Protocol Architecture,每一层存在的协议、效劳和接口,Languages/Frameworks,Fabric Layer,Applications,Local Access APIs and Protocols,Collective Service APIs and SDKs,Collective Services,Collective Service Protocols,Resource APIs and SDKs,Resource,Services,Resource Service Protocols,User Service Protocols,User Service APIs and SDKs,User Services,Connectivity APIs,Connectivity Protocols,详细构成,工具与应用,目录代理,诊断与监控等,资源与效劳的平安访问,应用层,会聚层,资源与,连接层,各种资源，比方计算机，存储介质，网络，传感器等,构造层,Grid体系结构各层说明,构造层(Fabric)：提供一套对局部资源控制的工具和接口；,计算、存储、网络、数据和目录等,对所控制的共享资源进行局部管辖和调度,实现各种资源本身的一些控制管理机制,不同类型资源不同的控制管理机制,YH资源和作业管理系统,SGI资源和作业管理系统,IBM资源和作业管理系统,特定构造层资源及其功能特性,构造层资源举例,功能特性,计算资源,启动程序，监控和控制进程的执行，控制进程资源分配的管理机制，提前预留机制，查询功能.,存储资源,存放与获取文件的机制，第三方高性能传输方式，读写文件子集机制，远程数据选取与归约机制，对分配用于数据传输资源的控制管理机制，提前预约机制，查询功能.,网络资源,对网络传输资源的管理机制，查询功能（用来得到网络特性和负载）.,代码库,源代码和目标代码管理机制，比如CVS控制系统.,目录,目录查询与更新操作机制，比如关系数据库,Grid体系结构各层说明,连通层(connectivity):定义了Grid网络事务处理的通信和验证协议，基于Internet协议；,基于Internet协议，完成通信；,认证和平安通信,连接层平安认证特性,特点,描述,单一登陆,用户只需登陆一次，就可以以该身份访问不同的构造层网格资源，不需要对不同的资源多次重复登陆，也不需要用户进一步介入.,代理,用户必须有让程序以自己身份运行的能力，因此程序就能够访问用户认证的不同资源.该程序还能够有条件将它的部分权限授予另一个程序（受限制的代理）.,与局部安全方法的集成,不同的资源可以使用其局部的安全方案，但是网格安全方案必须与那些局部的方案进行互操作.不要求网格安全方案完全代替局部安全方案，但是它必须能够实现向局部安全的映射.,基于用户的信任机制,用户可以使用多个提供者提供的资源，但并不是要求资源提供者在安全环境中协同操作或互操作.即如果一个用户有权使用站点A和B的资源，用户能够将A和B的资源结合起来使用，并不要求A和B的安全管理相互作用.,Grid体系结构各层说明续,资源层Resource)：定义了一些对单个的资源