长文档排版原文件.doc

云计算综述云计算综述 作者：林铮摘要：文章对时下比较流行的概念云计算进行了一些简要的介绍，随即展开云计算将会涉及到的一些关键技术，并且对云计算发展带来的一些机遇与挑战做了比较详细的描述，最后对云计算进行了总结与展望。关键词：云计算；高性能；分布式；SaaS 1云计算相关技术11数据存储技术为保证高可用、高可靠和经济性，云计算采用分布式存储的方式来存储数据，采用冗余存储的方式来保证存储数据的可靠性，即为同一份数据存储多个副本。另外。云计算系统需要同时满足用户的需求，并行地为大量用户提供服务。因此，云计算的数据存储技术必须具有高吞吐率和高传输率的特点。云计算的数据存储技术主要有谷歌的非开源GFs(Google File System)和Hadoop开发团队开发的GFS开源实现HDFS(Hadoop Distributed File System)。大部分rr厂商，包括Yahoo、Intel的“云”计划采用的都是HDFS的数据存储技术。GFS是一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上，但可以提供容错功能。它可以给大量的用户提供总体性能较高的服务。GFS与过去的分布式文件系统有很多相同的目标，但GFS的设计受到了当前及预期的应用方面的工作量及技术环境的驱动，这反映了它与早期的文件系统明显不同的设想。这就需要对传统的选择进行重新检验并进行完全不同的设计观点的探索。12数据管理技术云计算系统对大数据集进行处理、分析，向用户提供高效的服务。因此，数据管理技术必须能够高效的管理大数据集。其次，如何在规模巨大的数据中找到特定的数据，也是云计算数据管理技术所必须解决的问题。云计算的特点是对海量的数据存储、读取后进行大量的分析，数据的读操作频率远大于数据的更新频率，云中的数据管理是一种读优化的数据管理。因此。云系统的数据管理往往采用数据库领域中列存储的数据管理模式，将表按列划分后存储。云计算的数据管理技术以C,oogle的BigTable为代表，同时Hadoop也正在开发类似BigTable的开源数据管理模块。Bigtable是一个分布式的结构化数据存储系统，它被设计用来处理海量数据：通常是分布在数千台普通服务器上的PB级的数据。C,oogle的很多项目使用Bigtable存储数据，包括Web索引、CoogleEarth、C,oogle Finance。这些应用对Bigtable提出的要求差异非常大，无论是在数据量上(从URL到网页到卫星图像)还是在响应速度上(从后端的批量处理到实时数据服务)。尽管应用需求差异很大，但是，针对Coogle的这些产品，Bigtable还是成功地提供了一个灵活的、高性能的解决方案。本论文描述了Bigtable提供的简单的数据模型，利用这个模型，用户可以动态地控制数据的分布和格式。在很多方面，Bigtable和数据库很类似，它使用了很多数据库的实现策略。并行数据库和内存数据库已经具备可扩展性和高性能，但是Bigtable提供了一个和这些系统完全不同的接口。Bigtable不支持完整的关系数据模型；与之相反，Bigtable为客户提供了简单的数据模型。利用这个模型，客户可以动态控制数据的分布和格式(也就是对BigTable而言。数据是没有格式的，用数据库领域的术语说。就是数据没有Schema，用户自己去定义Schema)。用户也可以自己推测(reason about)底层存储数据的位置相关性(位置相关性可以这样理解，比如树状结构，具有相同前缀的数据的存放位置接近。在读取的时候，可以把这些数据一次读取出来)。数据的下标是行和列的名字，名字可以是任意的字符串。Bigtable将存储的数据都视为字符串，但是Bigtable本身不去解析这些字符串，客户程序通常会把各种结构化或者半结构化的数据串行化到这些字符串里。通过仔细选择数据的模式，客户可以控制数据的位置相关性。最后，可以通过BigTable的模式参数来控制数据是存放在内存中、还是硬盘上。由于采用列存储的方式管理数据，如何提供数据的更新速率以及进一步提高随机读速率是未来的数据管理技术必须解决的问题。13编程模型技术为了使用户能更轻松地享受云计算带来的业务，让用户能利用该编程模型编写简单的程序实现特定的目的，云计算上的编程模型必须十分简单，必须保证后台复杂的并向执行和任务调度向用户和编程人员透明。云计算采用类似MapReduce的编程模式。现在所有rI厂商提出的“云”计划中采用的编程模型，都是基于MapReduce的思想开发的编程工具。MapReduce不仅仅是一种编程模型，同时也是一种高效的任务调度模型。MapReduce这种编程模型并不仅适用于云计算，在多核和多处理、cellprocessor以及异构机群上同样有良好的性能。该编程模式仅适用于编写任何内部松耦合、能够高度并行化的程序。如何改进编程模式，使程序员能够轻松地编写紧耦合的程序，运行时能高效地调度和执行任务，是MapReduce编程模型未来的发展方向。14其他技术除上述讲述的一些关键技术以外，云计算服务的提供还涉及到了方方面面的技术，比如缓存技术、安全技术、网络加速等，这些都是能与云计算技术一起彼此推动的技术。2云案例Goosle也是通过云计算的方式，大量降低计算成本，使之业务更具有竞争力。Google几乎所有的产品都可以描述成云产品，因为其内部的技术架构，就是一个非常有借鉴意义和标杆意义的云架构，在这之上的都是云产品。22 IBM蓝云“蓝云”解决方案是由IBM云计算中心开发的企业级云计算解决方案。该解决方案可以对企业现有的基础架构进行整合，通过虚拟化技术和自动化技术，构建企业自己拥有的云计算中心，实现企业硬件资源和软件资源的统一管理、统一分配、统一部署、统一监控和统一备份，打破应用对资源的独占，从而帮助企业实现云计算理念。蓝云解决方案由以下部分构成：需要纳入云计算中心的软硬件资源、蓝云管理软件及IBM Tivoli管理软件及蓝云部署服务及客户化服务。23微软云微软的云计算战略包括三大部分，目的是为自己的客户和合作伙伴提供3种不同的云计算运营模式。1)微软运营：微软自己构建及运营公共云的应用和服务，同时向个人消费者和企业客户提供云服务，如微软向最终使用者提供的Online Services和Windows Live等服务。2)伙伴运营：ISVSI等各种合作伙伴可基于Windows Azure Platform开发ERP、CRM等各种云计算应用，并在Windows Azure Platform上为最终使用者提供服务。另外一个选择是，微软运营在自己的云计算平台中的Business Productivity Online Suite(BPOS)产品也可交由合作伙伴进行托管运营。BPOS主要包括Exchange Online、SharePoint Online、omce Communications Online和LiveMeeting Online等服务。3)客户自建：客户可以选择微软的云计算解决方案构建自己的云计算平台。微软可以为用户提供包括产品、技术、平台和运维管理在内的全面支持。3机遇与挑战31服务的可用性我们日常在使用的GooSe Search、?”“?一C,oogle Earth、C,oogle Map、GooghGmai、Google Doe如今，绝大多数互联网服务提供商都会利用多等业务都是C,oosle基于自己云计算平台提供的。个网络提供商来使自己避免在一个单独公司出现故障的情况下导致从互联网上消失，我们相信唯一合乎情理的提供极高可用性服务的解决方案就是多云计算提供商。可用性相关的另一个问题是分布式拒绝服务(DDoS，Distributed Denial of Service)攻击。由于弹性，云计算将攻击目标从SaaS提供商转移到能够马上吸引攻击并且具有DDos攻击保护能力的效用计算提供商。32数据丢失虽然现在的软件集已经在跨平台性方面改进了很多，但是从本质上说云计算的API仍是私有的。或者说当前没有建立起统一的标准。因此，用户很难讲他们的数据和程序从一个站点迁移到另一个。这也是很多用户不愿采用云计算的原因。显然，将云计算API标准化是上面问题的解决方案，这样SaaS开发人员能够在多个云计算提供商处发布服务和数据。某个公司的失误或故障将不会影响到用户数据的每个拷贝。33数据安全性和可审计性过去一段时间中我们曾听到多次这样的话：“我们企业的那些敏感数据将永远不会放到云中。” 当前的云本质上来说是提供了公共(而不是私有)网络，因此会遭遇更多的攻击。可审计性也很重要，按照相关法律规定，企业提交到云中的数据必须满足审计需求。灵活的运用加密存储、虚拟局域网、网络中间件等技术能迅速的解决当前已经碰到的一些问题。34数据传输瓶颈当前应用发展越来越趋向于数据密集型。如果应用能够被拆分交由不同的云去处理，这将导致膨胀的数据存放和传输。快递硬盘是客服这样高成本的互联网传输成本问题的一种机遇。Jim Gray发现，传输大量数据最便宜的方式是用次晨达的快递方式来快递硬盘，乃至整个计算机。虽然没有硬盘厂商和计算机厂商的保证，我们认为以快递硬盘这种方式来进行数 据传输是可靠的。第二个机遇是发现在云中保存数据的高效性。由于一旦数据存放在云中，数据传输将不再是一个瓶颈，这将会催生其他一些利用云计算能力的新服务。第三个更加激进的机遇是试图快速降低广域网带宽的成本。除了广域网带宽成为一个瓶颈外，云内网络技术可能也是一个性能瓶颈。35性能不可预知性云计算中多虚拟机能够很好的共享CPU和内存，但是LO的共享却有明显的问题。一个机遇是改进提醒结构和操作系统活动有效率的虚拟中断和I0通道。另外一个可能是闪存能够降低I0冲突。闪存相比硬盘能够支持更多的单位时间内的LO操作，因此，有着随同IO访问冲突的多虚拟机能够很好的协同工作，而不会出现使用机械硬盘时常见的互相干扰。最后一个不可预期的问题是运行某些批处理程序时多个虚拟机的调度问题，这在高性能计算领域尤其明显。克服这一问题的机遇在于为云计算提供一个有效的资源调度和管理工具。36可伸缩的存储目前针对这个问题有许多不同的尝试，从提供丰富的查询和存储API及提供性能保证，到有存储系统支持数据结构，都各不相同。存在的机遇是创建一个存储系统，不仅具备上述功能，而且提供向上和向下的伸缩性支持，同时在可扩展性、数据持久性以及高可用性等数据管理方面满足程序员的需求。37大规模分布式系统的错误云计算中一个很大的挑战是从大规模分布式系统中去消除错误。一个经常出现的问题是这些bug不会在稍小的规模的配置中重现因此调试必须在生产环境中进行。云计算中的虚拟机可能会成为一个机遇，它可能使程序员获得在传统分布式系统上难以获得的一些有价值的信息。38快速伸缩即用即付无疑很适合存储和网络带宽，这两者都可以用使用字节数来衡量。由于使用虚拟机，计算稍稍有些不同。这里的机遇是在不违背使用协议的前提下能够实现根据负载自动并快速地调整计算规模以能够最大的节省费用。39声誉和法律危机一个用户的恶意操作会影响到整个云的声誉。创建类似于信任邮件服务那样的声誉保护服务将可能会成为一个机遇。另外一个问题是法律责任的转移。当出现问题时，云计算提供商将会希望由用户去承担相应法律责任，而不要将责任转嫁给他们。310软件许可声誉和法律危机当前软件许可证通常限定在运行软件的机器上。用户购买软件并按年支付维护费用。许多云计算提供商从一开始就倾向于开源软件，部分正是因为商业软件许可模式并不适合效用计算。首要的机遇要么开源持续流行要么商业软件公司改变他们的许可证结构，让其更加适合云计算。还有一个办法是鼓励软件公司制定销售政策来向云计算提供产品。将软件公司销售部门的一些反对派转到支持云计算的阵营中来。4结语云计算将在未来几年进入蓬勃发展期。根据IDC最新数据显示，云计算服务将在2013年达到整体rII消费的10，年收益高达442亿美元。在5年内，云计算服务的增长态势将十分强劲，平均年增长将达26，是传统IrI行业增长速度的6倍。同时，IDC预测未来4年中国云计算将产生11万亿元的市场。云计算将在未来1520年内成为影响整个IrI行业的关键性技术。从201 1年到2012年云计算在技术领域的净增长率将达到25，从2012年到2013年实现净增长30。目前增长缓慢的原因是由于云计算还处在早期的推广阶段，一旦超越了这个阶段，云计算将实现飞速增长。 因此，没有人能够准确预期云计算将给我们的生活带来哪些巨大变化，但随着这一运动的不断推进，不管是作为消费者，还是商业人士，都可以感受到云计算带来的巨大变化。首先，对中小企业和创业者来说，云计算意味着巨大的商业机遇，他们可以借助云计算在更高的层面上和大企业竞争。其次，从某种意义上说，云计算意味着硬件之死。至少，那些对计算需求量越来越大的中小企业，不再一130一试图去买价格高昂的硬件，而是从云计算供应商那里租用计算能力，节省下来的时间和费用可以进行更多的业务创新。参考文献1卢大勇，陆琪，姚继锋伯克利云计算白皮书J高性能计算发展与应用，2009(1)2陈全，邓倩妮云计算及其关键技术J计算机应用，2009(9)3姜进磊，孙瑞志，向勇，等云计算M北京：机械工业出版社。2009