分布式与云计算系统第1章.ppt

1 DistributedandCloudComputing分布式与云计算系统 2 分布式系统模型和关键技术 3 1 1互联网之上的可扩展计算分布式系统是个由多个互相连接的处理资源组成的计算机系统 它们在整个系统的控制下协同执行同一个任务 最少依赖于集中的程序 数据或硬件 优点 缺点 4 互联网之上的可扩展计算 平台的变革 1950年代起大型机 小型机 个人计算机 便携式计算机高性能计算 HPC系统强调系统的原生速度性高吞吐量计算 HTC主要应用于被百万以上用户同时使用的互联网搜索和Web服务讨论的问题包括集群 MPP P2P网络 网格 云 Web服务 社会网络和物联网 事实上 集群 网格 P2P网络和云之间的区别将会越来越模糊 5 HPC High PerformanceComputingHTC High ThroughputComputingP2P PeertoPeerMPP MassivelyParallelProcessors 图1 1HPC和HTC系统的演化趋势 并行 分布式 云计算 具有集群 MPP P2P网络 网格 云 Web服务和物联网 6 计算范式间的区别 集中式计算 这种计算范式是将所有计算资源集中在一个物理系统之内 所有资源 处理器 内存 存储器 是全部共享的 并且紧耦合在一个集成式的操作系统中 并行计算 在并行计算中 所有处理器或是紧耦合于中心共享内存或是松耦合于分布式内存 分布式计算 一个分布式系统由众多自治的计算机组成 各自拥有其私有内存 通过计算机网络通信 分布式系统中的信息交换通过消息传递的方式完成 7 云计算 一个互联网云的资源可以是集中式的也可以是分布式的 云采用分布式计算或并行计算 或两者兼有 云可以在集中的或分布式的大规模数据中心之上 由物理的或虚拟的计算资源构建 普适计算是指在任何地点和时间通过有线或者无线网络使用普遍的设备进行计算 物联网是一个日常生活对象 包括计算机 传感器 人等 网络化的连接 物联网通过互联网云实现任何对象在任何地点和时间的普适计算 互联网计算这一术语几乎涵盖了所有和互联网相关的计算范式 8 HPC和HTC系统需要遵从如下设计原则 效率 在HPC系统中开发大规模并行计算时 度量执行模型内资源的利用率 对于HTC系统 效率更依赖于系统的任务吞吐量 数据访问 存储 节能 可信 度量从芯片到系统到应用级别的可靠性和自管理能力 目的是提供有服务质量 QoS 保证的高吞吐量服务 即使是失效的情况下 编程模型适应性 度量在海量数据集和虚拟云资源上各种负载和服务模型下支持数十亿任务请求的能力 应用部署的灵活性 度量分布式系统能够同时很好地运行在HPC 科学和工程 和HTC 商业 应用上的能力 9 可扩展性计算趋势和新的范式位级并行 Bit LevelParallelism BLP 指令级并行 Instruction LevelParallelism ILP 通过指令流水线 超标量计算 VLIW体系结构 多线程实践了ILP ILP需要分支预测 动态规划 投机预测 提高运行效率的编译支持 数据级并行 Data LevelParallelism DLP 的流行源于SIMD和使用向量与数组指令类型的向量机任务级并行 Task LevelParallelism TLP 作业级并行 Job LevelParallelism JLP 10 11 新技术成熟周期 第一阶段 技术萌芽期 这意味着一种新技术诞生 往往是这种新技术在参加了一些行业前沿展会譬如消费电子展 CES 之后 由于其新奇性 高科技含量被各大媒体广泛报道 12 新技术成熟周期 第二阶段 期望膨胀期 一些企业推出产品 在这一阶段 有很多成功的案例 也有很多失败的案例 让很多企业暂停创新 第三阶段 幻想破灭期 新产品 新服务达不到公众的预期 13 新技术成熟周期 第四阶段 复苏期 在此阶段 新技术将稳步发展 步入成熟期并最终跻身主流市场 第五阶段 成熟期 在此阶段 新科技产生的利益与潜力被市场实际接受 支援此经营模式的工具 方法论经过数代的演进 进入了非常成熟的阶段 14 新技术成熟周期 通过 技术成熟周期 五阶段发展曲线 可以认识清楚 哪些是炒作 哪些将成为真正火热的产品 握好时间点是一切成功的关键 如果过早推出一个产品 消费者可能还没有准备好 但是 如果适时抢在别人前面推出新产品 那么企业将独占鳌头 15 2011Gartner ITHypeCycle forEmergingTechnologies 新技术成熟周期 16 物联网和CPS物联网是指日常生活中对象 工具 设备或计算机间存在网络互连 物联网为互联了所有我们生活中的对象的无线传感器网络 CPS是计算过程和物理世界之间交互的结果 CPS集成了 计算节点 同构 异构 和 物理 并发和信息密集的 对象 CPS在物理世界和信息世界之间将 3C 技术 计算 通信 控制 融合到了一个智能闭环反馈系统中 物联网强调物理对象之间的多样化连接 而CPS强调物理世界中虚拟现实应用的开发和研究 17 1 2基于网络的系统技术多核CPU和多线程技术 18 摩尔定律 摩尔定律是由英特尔 Intel 创始人之一戈登 摩尔 GordonMoore 提出来的 其内容为 当价格不变时 集成电路上可容纳的晶体管数目 约每隔18个月便会增加一倍 性能也将提升一倍 换言之 每一美元所能买到的电脑性能 将每隔18个月翻两倍以上 这一定律揭示了信息技术进步的速度 19 图1 5现代多核CPU芯片的层次cache示意图 其中L1cache是每个核私有的 片上L2cache是共享的 L3cache和DRAM是非片上的 20 图1 6现代CPU处理器的5种微体系结构 通过多核和多线程技术支持ILP和TLP 21 图1 7数百或数千处理核心的海量并行处理中协同CPU的GPU使用 大规模和超大规模GPU计算 22 GPU与CPU 一 GPU的竞争远比CPU的竞争来得激烈 通用PC的CPU就只有英特尔和AMD两家大厂 而在GPU方面领先的是NVIDIA和AMD两家厂商 但能生产中低端产品的还有英特尔 三星等好几家厂商 它们的产品虽然不如前两家 但在很多应用方面也能满足用户的需要 所以N记和A记只有拼命往前跑才不会死掉 23 GPU与CPU 二 CPU除了处理游戏的AI 情节等方面的数据外 对于有些图像方面也是由它完成的 当微软每次发布新的DX时 并不是每款GPU都能支持DX新的特性 所以有些图像方面的任务还得由CPU来完成 24 GPU与CPU 三 GPU相当于专用于图像处理的CPU 正因为它专 所以它强 在处理图像时它的工作效率远高于CPU 但是CPU是通用的数据处理器 在处理数值计算时是它的强项 它能完成的任务是GPU无法代替的 所以不能用GPU来代替CPU 25 GPU与CPU 四 微软发布Windows7其中一个显著特性就是联合GPU和CPU的强大实力 提升GPU在硬件使用的价值 在Windows7中 CPU与GPU组成了协同处理环境 CPU运算非常复杂的序列代码 而GPU则运行大规模并行应用程序 26 内存 外部存储和广域网 图1 10过去33年中内存和磁盘技术的改进 2011年 SeagateBarracudaXT磁盘容量为3TB 27 图1 11三种连接服务器 客户机 存储设备的互连网络 LAN连接客户机和服务器 SAN连接服务器和磁盘阵列 NAS连接客户机和网络环境中大规模存储系统 系统区域互连 28 图1 12三种虚拟机体系结构与传统的物理机的比较 虚拟机和虚拟化中间件建立大规模集群 网格和云 我们需要以虚拟的方式访问大量的计算 存储和网络化资源 我们需要集群化这些资源 并希望提供一个单独的系统镜像 29 PrimitiveOperationsinVirtualMachines 图1 13分布式计算环境中的虚拟机复用 挂起 供应和迁移 30 1 3分布式和云计算系统模型分布式和云计算系统都建立于大量自治的计算机节点之上 这些节点通过SAN LAN或WAN以层次方式互连 大系统被认为高可扩展 并能在物理上或逻辑上达到Web规模互连 大系统被划分为四组 集群 P2P网络 计算网格 大数据中心之上的互联网云 31 32 ATypicalClusterArchitecture 协同计算机集群 图1 15服务器集群通过高带宽SAN或LAN互连以共享I O设备和磁盘阵列 集群以一个单独计算机的身份接入互联网 33 计算机集群 计算机集群简称集群是一种计算机系统 它通过一组松散集成的计算机软件和 或硬件连接起来高度紧密地协作完成计算工作 在某种意义上 他们可以被看作是一台计算机 集群计算机通常用来改进单个计算机的计算速度和 或可靠性 一般情况下集群计算机比单个计算机 比如工作站或超级计算机性能价格比要高得多 34 计算机集群 高可用性集群一般是指当集群中有某个节点失效的情况下 其上的任务会自动转移到其他正常的节点上 还指可以将集群中的某节点进行离线维护再上线 该过程并不影响整个集群的运行 35 计算机集群 负载均衡集群负载均衡集群运行时一般通过一个或者多个前端负载均衡器将工作负载分发到后端的一组服务器上 从而达到整个系统的高性能和高可用性 这样的计算机集群有时也被称为服务器群 ServerFarm 36 计算机集群 高性能计算集群高性能计算集群采用将计算任务分配到集群的不同计算节点儿提高计算能力 因而主要应用在科学计算领域 比较流行的HPC采用Linux操作系统和其它一些免费软件来完成并行运算 37 网格计算在过去30年 用户经历了一个从互联网到Web和网格计算服务的自然发展 互联网服务 如Telnet命令 使本地计算机可以连接到一台远程计算机 一个Web服务 如HTTP 使远程访问Web页面成为可能 网格计算被预想用于同时在多台远距离计算机上运行的应用间进行近距离交互 网格呈现为集成的计算资源 它们也可以被视为支持虚拟组织的虚拟平台 38 图1 16计算网格或数据网格通过资源共享和多个组织间合作提供了计算效用 数据和信息服务 39 网格计算 网格计算通过共享网络将不同地点的大量计算机相联 从而形成虚拟的超级计算机 将各处计算机的多余处理器能力合在一起 可为研究和其他数据集中应用提供巨大的处理能力 有了网格计算 那些没有能力购买价值数百万美元的超级计算机的机构 也能利用其巨大的计算能力 40 41 对等网络家族客户端服务器体系结构 客户机 PC和工作站 被连接到一个中央服务器 用来进行计算 电子邮件 文件访问和数据库应用 P2P体系结构提供了一个分布式的网络化系统模型 在一个P2P系统中 每个节点既是客户端又是服务器 提供部分系统资源 节点机器都是简单的接入互联网的客户机 所有客户机自治 自由地加入和退出系统 不存在主从关系 无需中心协作或中心数据库 系统是分布式控制下自组织的 42 覆盖网络 简单说来覆盖网络就是应用层网络 它是面向应用层的 不考虑或很少考虑网络层 物理层的问题 如p2p 基于内容的网络 P2P计算在硬件 软件和网络需求上面临三类异构问题 有太多的硬件模型和体系结构而无法选择 软件和操作系统间不相容 不同的网络连接和协议使其过于复杂而无法应用于真实应用 43 图1 17通过映射物理IP网络到一个覆盖网络络建立虚拟链接的P2P系统结构 44 45 互联网上的云计算 数据爆炸促发了云计算的思想 IBM给出了如下定义 云是虚拟计算机资源池 云可以处理各种不同的负载 包括批处理式后端作业和交互式用户界面应用 云通过迅速提供虚拟机或物理机允许负载被快速配置和划分 云支持冗余 自恢复 高可扩展编程模型 以允许负载从许多不可避免的硬件 软件错误中恢复 最终 云计算系统可以通过实时监视资源来确保分配在需要时平衡 Copyright 2012 ElsevierInc Allrightsreserved 46 BasicConceptofInternetClouds 图1 18数据中心的虚拟化资源形成互联网云 向付费用户提供硬件 软件 存储 网络和服务以运行他们的应用 47 1 4分布式系统和云计算软件环境面向服务的体系结构 SOA 面向服务的体系结构 是一个组件模型 它将应用程序的不同功能单元 称为服务 通过这些服务之间定义良好的接口和契约联系起来 接口是采用中立的方式进行定义的 它应该独立于实现服务的硬件平台 操作系统和编程语言 48 面向服务的体系结构 1 服务请求者 服务请求者是一个应用程序 一个软件模块或需要一个服务的另一个服务 它发起对注册中心中的服务的查询 通过传输绑定服务 并且执行服务功能 服务请求者根据接口契约来执行服务 2 服务提供者 服务提供者是一个可通过网络寻址的实体 它接受和执行来自请求者的请求 它将自己的服务和接口契约发布到服务注册中心 以便服务请求者可以发现和访问该服务 3 服务注册中心 服务注册中心是服务发现的支持者 它包含一个可用服务的存储库 并允许感兴趣的服务请求者查找服务提供者接口 49 面向服务的体系结构 发布 为了使服务可访问 需要发布服务描述以使服务请求者可以发现和调用它 查询 服务请求者定位服务 方法是查询服务注册中心来找到满足其标准的服务 绑定和调用 在检索完服务描述之后 服务请求者继续根据服务描述中的信息来调用服务 50 网格与云网格和云之间的界限近年来变得越来越模糊 网格系统使用静态资源 而云强调弹性资源 网格和云之间的不同仅限于基于虚拟化和自治计算的动态资源管理 可以通过多个云建立网格 这种网格比一个单纯的云能更好的工作 因为它能明确支持协议资源分配 从而可以建立系统的系统 如云之云 云网格 网格云 或互联云作为一个基本SOA体系结构 51 分布式操作系统趋势 52 TransparentCloudComputingEnvironment 图1 22在时间和空间上分离了用户数据 应用 操作系统和硬件的透明计算环境 53 并行和分布式编程模型 54 GridStandardsandMiddleware 55 1 5性能 安全和节能性能度量 分布式系统中性能与许多因素相关 系统吞吐量经常用MIPS Tflops 每秒T浮点运算次数 或TPS TransactionsPerSecond 每秒事务数 测量 其他度量包括作业响应时间和网络延迟 系统开销通常归因于操作系统启动时间 编译时间 I O数据速率和运行时支持系统消耗 其他性能相关度量包括互联网和Web服务的QoS 系统可用性和可靠性 以及系统抵抗网络攻击的安全弹性 56 可扩展性 规模可扩展性 指通过增加机器数量来获取更高的性能和更多的功能 软件可扩展性 指升级操作系统或编译器 增加数学和工程库 移植新的应用软件 安装更多的用户友好的编程环境 应用可扩展性 指问题的规模扩展与机器的大小扩展相匹配 用户可以通过放大问题的规模来提高系统效率 技术可扩展性 指系统可以适应构建技术的变化 57 网络威胁与数据完整性图1 25对计算机的各种系统袭击和网络威胁及造成的4种损失 58 运行服务器的节能 图1 26分布式运算系统的4个操作层 59 运行服务器的节能 应用层 计算和存储中间层 任务调度资源层 动态电能管理网络层 智能网络