云存储服务质量的若干关键问题研究

分类号学号D200777568学校代码10487密级博士学位论文云存储服务质量的若干关键问题研究学位申请人：王健宗学科专业：计算机系统结构指导教师：谢长生教授副指导教师：万继光副教授答辩日期：2012年5月24日AThesisSubmittedinPartialFulfillmentoftheRequirementsfortheDegreeofDoctorofPhilosophyinEngineeringResearchonKeyProblemsofQualityofServiceinCloudStoragePh.D.Candidate:WangJianzongMajor:ComputerArchitectureSupervisor:Prof.XieChangshengCo-Supervisor:Assoc.Prof.WanJiguangHuazhongUniversityofScience&TechnologyWuhan430074,P.R.ChinaMay,2012独创性声明本人声明所呈交的学位论文是我个人在导师的指导下进行的研究工作及取得的研究成果。尽我所知，除文中已标明引用的内容外，本论文不包含任何其他人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。本论文属于保密 ，在年解密后适用本授权书。不保密 。（请在以上方框内打“”）学位论文作者签名：指导教师签名：日期：年月日日期：年月日摘要?随着科技的进步，信息技术的发展日新月异，特别是互联网的发展，促成人类生活的改变，从2006年Amazon公司发布AWS系统到2007年IBM和谷歌公司提出云计算的概念以来，云计算已经逐步走入人们的生活当中，使得计算资源如同消费水电般被人们以按需付费的形式使用成为可能。众所周知，当今社会信息量的爆炸式增长使人们对于存储量的需求越来越大，也为云存储发展提供了契机，成为最快为大家所接受的一种云服务形式。云存储用户范围从最初的互联网行业扩大到企业、个人应用等多个领域。服务规模的扩大为云存储系统运营和维护带来了诸多挑战：如数据存储的费用、可靠性和可用性等。云存储的基础设施需要专门为存储海量数据而设计，并需要不断扩容，随着规模的不断扩大维护数据可靠性和可用性的难度也随之增加。同时作为云存储服务的使用者，无论企业或者个人，会在将数据移植到云端前综合考虑权衡各种因素，评价各项指标和性能，例如移植代价、服务质量、数据的可获得性，特别是后续持续使用的开销等，务必通过严格的评估才能做出正确合理的决定。针对目前云存储提供商中，特别是公用云存储平台的性能瓶颈，以及云服务提供商和使用者对于工作负载开销的预估性不足等问题，本论文系统研究了云存储中服务质量的若干关键问题，重点考虑公有云平台的性能稳定性、数据可获得性、云存储系统的可靠性以及其资源调度策略等主题。此外，随着越来越多的工作负载借助于云计算平台来完成，对于InfrastructureasaService（IaaS）提供商来说，一个很大的挑战就在于如何进行精确的成本核算并向租用其平台的SoftwareasaService（SaaS）用户收费，即如何用一个可靠并智能的模型去相对正确地估算负载所消耗的成本并制定合理的价格策略。针对上述的问题和挑战，本文的主要贡献如下：提出一种基于混合公有云存储的优化结构CloudMW，CloudMW针对公有云存储平台中，存储性能稳定度不足及对数据共享支持度不够等问题给出了优化改进方案，通过借鉴RAID系统中复制和分块的思想，将数据条带化放置到云端，并利用中间件技术实现了数据的共享和性能的优化，实验结果证明CloudMW能很好地维护系统的稳定性，并支持数据共?本课题得到国家重点基础研究发展计划（2011CB302303）和国家自然科学基金（60933002）的资助I享且在线服务性能得到保障。当前将用于本地存储或网络系统可靠性的纠错码技术引入到分布式的云存储环境成为趋势，以取代当前云存储系统中常用的多份副本可靠性策略。针对工作负载的多样性特点，深入云存储系统内部，本文提出了一种基于负载特征的云存储可靠性框架CloudRAID，把工作负载的特征考虑到可靠性的保障机制选择中，通过定量化的评价模型，自适应地合理构建云存储可靠性策略，并且在HDFS中实现CloudRAID原型，以验证其有效性以及服务能力。还特别关注云存储提供商的利润率，提出了一种云端自适应的利润优先的调度效用优化算法CloudIO用于分布式云存储环境的I/O资源调度，该算法在保证云存储提供商服务能力的前提下，避免工作负载突发性导致的性能下降乃至停滞，在最大化满足服务水平目标的同时，把云存储提供商的利润考虑到调度算法中，通过实验证明本调度算法同其他调度算法相比能达到更好的负载均衡并使云存储提供商获得更高的利润率。最后提出云环境中工作负载成本开销模型CloudCOST，该模型具备较强的灵活性，既能将应用分配到更大的资源池中，也考虑了更优化的资源共享，并具有自适应性，即对应用分配方式的敏感度较低，能基于应用负载突发性对IT公司的不同应用创建突发过滤器，过滤掉那些因突发性太剧烈而使成本过高的应用，把这些应用移植到云端，此外能整体为IaaS供应商设计成本核算和价格生成模型，通过利用在实际IT公司中收集到的工作负载进行模型的验证，发现CloudCOST具备一定的鲁棒性，同时能根据市场的价格变化动态调节云平台的定价机制。通过对上述云存储服务质量的若干关键问题研究，目标是能够为客户提供性能优良、可靠性高、负载均衡同时能节约成本的云存储生态系统。关键词：云存储，性能优化，可靠性，资源调度，开销模型，定价策略，服务质量，波动因子，负载突发度，虚拟化合并，纠错码IIAbstractWiththeprogressofscienceandtechnology,theinformationtechnologyhasbeende-velopingwitheachpassingday.Especially,thedevelopmentoftheinternethascontributedgreatlytothechangeofhumanlife.SincethereleaseofAmazonWebService(AWS)sys-tembyAmazonfrom2006andtheproposaloftheconceptofcloudcomputingbyIBMandGooglein2007,cloudcomputinghasgraduallygoneintopeopleslife,makingitpos-sibleforpeopletoconsumecomputationresourcesliketheyconsumewaterandelectricityaccordingtotheirdemandintheformofpay-as-you-go.Asweallknow,cloudstorageiswellacceptedbypeopleaccordingwiththeexplosivegrowthoftodayssocietyinformation.Inadditiontotheearlyadoptersfromtheinternetcompanies,moreandmoreenterprises,organizations,andindividualsbegintorelyoncloudstoragetoholdtheirhugedigitalinformation.Somechallengeshavebeenbroughtout,suchasdatastoragecosts,reliabilityandavailabilitywiththescaleexpansionofcloudservice.Meanwhile,thecloudstorageserviceuserswilltakeintoconsiderationvariousfactorsbeforemigratingdatatoclouds,forinstancetheoverhead,qualityofservice,dataavailability,especiallythefollow-upcostofcontinuousservice.Inordertomaketherightdecision,whetherenterprisesorindividualswillgiveadeepthinkingbeforeinvolvingincloudservices.Toaddresstheproblemswiththebottleneckofpubliccloudstorageperformanceandthelackofaccuracyofthebudgetforbothsidesbetweencloudstorageprovidersandusers,thispaperistodealwiththekeyproblemsofqualityofserviceincloudstorageincludingpubliccloudstorageperformanceoptimization,cloudstoragesystemreliabilityandI/Oresourceschedulingstrategies.Inaddition,abigchallengeofIaaSprovidersishowtoaccountthecostandchargefeesfromtheleasingSaaScustoms.Inotherwords,weareaimtouseareliableandrobustmodelandmaketherightpricingstrategiesaftertheevaluationofworkloadscostaccurately.Thispapermakesomeprogressesfacingthepreviouskeyproblemsandchallenges.Themaincontributionsofthepaperasfollows:weproposedahybridcloudstorageop-timizedframeworkCloudMW,CloudMWcanbringoutseveralimprovedschemastoIIIaddressthelackofperformancefluctuation,datasharingsupport.ByimportingchunkingandreplicationthinkingofRAIDintocloudstorage,westripethedataintocloudsandu-tilizethemiddlewaretechnologytoimplementdatasharingandperformanceoptimizing.TheevaluationprovedthatCloudMWcanavoidtheperformancefluctuation,supportdatasharingandmaintaintheonlinequalityofservice.Inaddition,thecloudstoragereliabilityframework,calledCloudRAIDispresented.Itistendencythatreplacemultiplyreplicationstoerasurecodingastheefficientredundancystrategiesincloudstorageplatforms.Ourworkconsideredworkloadcharacteristicsintotheselectionofcloudreliabilityschemas.Afteradoptingthequantitativeevaluationmodels,CloudRAIDcangrouprightreliabilitymechanismsadaptively.WepractisedCloudRAIDinHDFStovalidatethecapabilityofserviceandeffectiveness.Then,weputforwardanadaptiveI/Oresourceschedulingalgorithm(CalledCloudIO)forutilityoptimizationtotakethecloudprovidersprofitmarginintoconsideration.Un-dertheservicecapabilityguaranteeofthepremiseofcloudstorageprovider,thealgorithmcanavoidtheperformancedecreasingorstagnatingandsatisfytheServiceLevelObjec-tive(SLO).Theresultsofourexperimentssuggestthatthealgorithmisadaptivetoarchivebetterworkloadsbalancingwhilemaximizingprofitscomparedwithotheralgorithms.WefinallyproposedtheCloudCOSTmodelforworkloadscostincloudcomputingenvironments.CloudCOSTisofstrongflexibilityandnotsensitivetotheapplicationcon-solidation.Webroughtoutworkloadsburstinessfilterhere:migrateburstyworkloadstotheclouds,whereIaaSprovidersexist,andthenlettherestprocessedlocally.Weensurethatourmodelisabletoadjustitselfaccordingbythemarketchanging.ThroughthevalidationbyadoptingoftheactualITcompanyworkloads,wefoundthatCloudCOSTisrobustandmaketherightpricingmechanismsynchronously.Throughtheabovestudyaboutqualityofserviceincloudstorage,thisthesisistobeabletoprovidecustomerswithexcellentperformance,highreliability,loadbalanceandsavethecostincloudstorageecosystematthesametime.Keywords:cloudstorage,performanceoptimization,reliability,resourceallocation,costmodel,pricingstrategy,qualityofservice,volatilityfactors,workloadbursti-ness,virtualizationconsolidation,erasurecodingIV目录摘要.IAbstract.III目录.V插图索引表格索引1绪论1.1研究背景.(1)1.2国内外研究现状.(3)1.3研究的目的与意义.(11)1.4研究主要内容.(11)1.5论文组织结构.(13)2基于公有云存储平台的性能优化2.1研究背景与出发点.(15)2.2一种基于混合云存储的优化结构CloudMW.(16)2.3CloudMW实验结果与分析.(22)2.4本章小结.(27)3基于纠错码的云存储可靠性保障机制3.1研究背景与挑战.(29)3.2一种基于负载特征的云存储可靠性框架CloudRAID.(31)3.3CloudRAID空间效率与性能分析.(39)3.4CloudRAID原型实现与结果评估.(44)3.5本章小结.(51)V4面向云存储的I/O资源调度优化算法4.1研究动机与调度目标.(53)4.2一种云端自适应I/O调度效用优化算法CloudIO.(56)4.3CloudIO调度算法效用优先设计.(60)4.4CloudIO实验结果与分析.(64)4.5本章小结.(70)5基于云计算环境的工作负载开销模型5.1研究背景与动机.(71)5.2一种具备鲁棒性的负载成本估算模型CloudCOST.(73)5.3工作负载特性和突发性过滤器评测.(80)5.4CloudCOST鲁棒性和定价策略评估.(84)5.5本章小结.(88)6总结与展望6.1全文总结.(91)6.2进一步研究的工作思考.(92)致谢.(95)参考文献.(97)附录1攻读学位期间的主要成果和奖励.(103)VI插图索引图1.1云计算的层次.4图1.2论文研究内容的逻辑结构.12图2.1传输时间的累积分布函数.17图2.2混合云存储系统CloudMW框架.17图2.3CloudMW框架数据的分块和复制.20图2.4亚马逊公有云存储中默认数据共享方式.21图2.5ClouwMW数据共享方式.22图2.6云端存储介质基准测试配置.23图2.7S3中数据分1到6块后的访问时间.24图2.8分块和复制后对性能提升的时间累积分布函数.25图2.9分块后云端EBS和S3的I/O性能比较.26图2.10CloudMW的Postmark基准测试I/O性能.26图3.1CloudRAID系统体系结构.36图3.2CloudRAID数据恢复过程.39图3.3文件特征的累积分布函数比较.40图3.4CloudRAID不同组织模式存储开销比较.41图3.5云RAID系统可靠性分析.43图3.6云RAID系统可恢复数据概率分析.43图3.7云RAID调节（w，k）编解码计算速度.46图3.8CloudRAID中数据块个数调节对性能影响分析.47图3.9TPC-C基准测试性能分析.48图3.10CloudRAID系统降级读性能分析.49图3.11Postmark基准测试性能分析.50图3.12不同应用类型的空间开销分析.51图4.1CloudIO算法的系统框架和模块.57图4.2OLTP和WebSearchTraces的I/O全局请求到达率.64图4.3存储节点1的I/O请求到达率.65VII图4.4存储节点2的I/O请求到达率.65图4.5OLTP的SLO分解结果.66图4.6WebSearch的SLO分解结果.67图4.7存储节点1（I/O资源充足）中各虚拟机的响应时间对比.68图4.8存储节点2（I/O资源紧张）中各虚拟机的响应时间对比.69图4.9不同价格策略的调度结果比较.69图5.1工作负载A和B的存储需求.73图5.2CloudCOST体系结构图.74图5.320个应用的最大和平均CPU需求.80图5.420个应用的最大和平均存储需求.81图5.5应用C和D的CPU需求.83图5.6不同阙值下20个应用通过突发性过滤器之前和之后的成本估算.84图5.7不同阙值下20个应用通过突发性过滤器之前和之后的成本总和.84图5.8在Average-based模型计算下20个应用的成本.85图5.9在Bursty-based模型计算下20个应用的成本.85图5.10在CloudCOST模型计算下20个应用的成本.86图5.11三个模型20个应用的最大和最小开销差值对比.86图5.12在分配方案一下使用CloudCOST模型计算出的CPU、存储和总成本（=1.28）.87图5.13在分配方案一下使用CloudCOST模型计算出的总成本对比图（=0.7/1.28）.88图5.14在分配方案I下，20个应用的成本和定价情况.89图5.15在分配方案III下，20个应用的成本和定价情况.89VIII表格索引表1.1国内外公用云平台比较.5表2.1亚马逊云存储资源特征分析.16表2.2S3和EC2之间数据传输的性能波动.16表2.3公有云存储优化建模命名规范.20表2.4公有云存储基准I/O测试结果.24表2.5S3和EBS的读写性能比较.27表3.1云RAID建模命名.32表3.2CloudRAIDHadoop测试平台配置.47表4.1不同访问模式导致的资源需求差异.54表4.2CloudIO算法中符号及其含义.58表4.3CloudIO局部SLO设置.68表4.4不同定价策略下各算法的收益对比.70表5.1Average-based、Average-based和CloudCOST中模型的主要参数.76表5.2在第三种分配方案下应用C和D的成本.82IXX1绪论本章主要介绍论文的研究背景、国内外研究现状、研究目的与意义、研究主要内容以及论文组织结构。1.1研究背景众所周知，IT技术的发展经历过三次浪潮：第一次浪潮以计算技术为中心，以处理器的发展为核心推动力，产生了计算机工业，推动了计算机的迅速普及和应用；第二次浪潮以传输技术为中心，促进了计算机网络的发展和普及。这两次浪潮大大加速了信息数字化进程，使得越来越多的人类信息活动转变为数字形式，从而导致数字?畔栽龀T技术的目前第三次发展浪潮云计算时代的到来。云计算的出现代表了信息技术（IT）服务在创造、开发、部署、扩展、更新、维护和计价等方法上的根本性变革。计算如今呈现出一种矛盾一方面，计算机的能力指数级地增长并且单位计算的价格迅速降低，以至于现在计算能力本身很大程度上就是一种商品1。另一方面，当计算逐渐深入到组织内部，分散的信息结构以及分布式数据和软件使得管理整个基础设施变得越来越复杂，进而使得一个组织的计算成本越来越高。对过去很多无法自己部署IT服务2的组织来说，云计算已经显著降低了计算的前期成本，因此越来越为诸多公司所接受。在当前云计算、大数据的时代背景下，最显著的特征就是数据爆炸式的增长。在2009年，互联网上的数据内容已经达到了5000亿GB，而且这个数据非常有可能会在一年里面翻一倍4。十年前，100GB已经是一个很大的数据，现在人们已经开始以TB（Terabyte）、PB（Petabyte）作为计量单位。大数据时代的到来，将挑战企业的存储架构及数据中心基础设施等，也会引发云计算、数据仓库、数据挖掘、商业智能等应用的连锁反应。最近，全球最大社交网络提供商脸谱公司Facebook5宣称其已经成为世界第三人口大国，仅次于中国和印度，用户已经超过7.5亿人，每天分享的次数达到40亿，可以想象7亿多人在网上分享照片，存储视频其数据量有多大？预计到2020年，全球数据使用的数据总量将达到35ZB（1ZB=10亿TB）。1此外，市场研究机构国际数据集团（InternationalDataCorporation，IDC）6的一项研究表明按照目前的趋势发展，财富五百强企业的平均用户的存储容量已经超过500TB，且存储相关的支出所占企业IT预算的比重从2007年的17%增长到2011年24%，而其存储系统的平均利用率仅仅是50%，因此用户或者企业自己管理存储系统不仅仅是成本过高，而且是效果欠佳，存储社会化33已经成为一种趋势存储即服务（StorageAsAService，SaaS），就如同企业都要用电用水一样，如果企业要自建电厂、水厂服务自身是完全没有必要的，在当今无论对于企业或者个人用户来讲，都很乐意逐步将自己的存储服务外包出去，转移到云存储提供商中。对这些潜在云存储客户而言，转移服务到云端的前提是要求供应商所提供的存储服务应该是具有高可靠性、高可用性、高安全性的系统，只有达到这些性能的要求，用户才会放心地转移到云端中以减轻自己的运营和维护压力，正是这样的刚性需求为云存储发展提供了契机，目前云存储用户范围从最初的互联网行业扩大到企业、教育等多种领域，以及个人存储领域，总之云存储成为云计算领域中增长最快的应用领域。本文正是在当前云存储飞速发展的背景下，从云存储提供商和用户两个角度开展研究。对云存储提供商来说，希望能构建一个可维护性高的、高可用的、高性能海量存储系统来提供服务，并希望同时能尽可能地降低运营的成本。而对用户来讲，当选择云服务的时候，通过充分的权衡和比较，选择性能最优而又符合其开销预期的云存储提供商。总之，在一定程度上云存储提供商和用户之间是一个市场的供需关系，用户当然希望能得到性能最好，价格最便宜的存储服务，而对提供商来说，如果用户太少，可能导致资源的闲置，维护成本过高，而用户太多，则会导致服务质量的降低，最终带来用户的流逝，总之两者之间存在一定程度上的供求矛盾。本文针对云存储服务质量的问题展开研究，从不同的角度，来全面地分析云存储生态系统的各个角色，期望能在云存储提供商和云服务使用者之间在一定程度上达到平衡，取得双赢，最大限度地提升公用云平台的性能，并深入到云存储系统的内部，从可靠性以及资源调度的方面展开优化探索，此外同时能让用户从成本估算的角度合理地选择提供商，本工作通过构建云存储系统优化、可靠性若干关键问题的优化方案，并依据用户负载的突发特性，提出基于负载的开销估算模型，通过具备鲁棒性的成本估算模型，为用户和云存储提供商提供决策支持，从两个维度来系统全面地分析研究云存储整个生态系统。21.2国内外研究现状云存储（CloudStorage）意思是将存储变成一种服务，客户可以是个人也可以是企业按需存储，将数据的存储、备份、管理都交给存储提供商，自己只需要支付相应的服务费用，实质上云存储是在云计算（CloudComputing）概念上延伸和发展出来的一个新的概念32。云存储是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统。其实云存储系统的核心技术还是分布式存储系统、海量存储系统的技术框架，伯克利大学的Michael等人7的观念是：云计算唯一的创新就是商业模式的创新，可以让计算资源商品化，用户实现按需付费，轻易实现弹性计算，因此云计算的出现带来的最大的特点就是IT公司经营方式历史性地变革。下面首先介绍目前云服务的几种模式以及主流的公有云提供商和产品（PublicCloudComputingProviders），接着深入分析云存储系统优化（CloudStorageSystemOptimization）和云计算的经济模型（CloudComputingEconomics）国内外的研究现状。1.2.1云服务模式从终端用户的角度来说，云计算行业常常是指云计算的不同交付模型，不同交付模型涉及云计算体系结构中的不同层次：如图1.1所示例。最常听到的可能是软件即服务，或者说是SoftwareasaService（SaaS），在这种服务模式中，应用在云端运行，客户端机器不再需要安装和运行应用程序。SaaS的实际例子既有Salesforce8提供在线客户关系管理软件（CloudCRM），Netsuite9提供企业资源企划软件（CloudERP）或者GoogleApps10这样的企业级的应用，也有像GmailDocs，Facebook和TwitterApps这样的个人应用服务。其次是平台即服务，或者叫PlatformasaService（PaaS），可以为应用发展和部署提供便利，免除了管理底层硬件和软件的成本以及复杂性。像PaaS这样的例子有Microsoft的AzureServicesPlatform11，Google的AppEngine10，Amazon的RelationalDatabase12服务以及Rackspace的CloudSites13等。3)RUJ )ROKTZY ?=KH (XUYKXY 3UHORK 'VVY :NOT )ROKTZ :KXSOTGR +SRGZUX?9GG9 ?)83 +SGOR <OXZGR *KYQZUV )USTOIGZOUTY -GSKY?6GG9 ?+KIZOUT 8TZOSK *GZGHGYK =KH? 9KXKX 'VV :UURY?/GG9 ?<OXZGR 3GINOTKY 9ZUXGMK 2UGJ (GRGTIKXY 4KZUXQ?图1.1云计算的层次第三种云计算模型是基础设施即服务，或者叫InfrastructureasaService（IaaS），也就是提供存储和计算能力等基础设施的服务。Amazon的S3存储服务和EC2计算平台，RackspaceCloudServers、阿里云14是一些著名的IaaS实例。综上所述，表1.1列举了当前云计算领域中的一些关键厂家，包括云计算开创者Amazon、IBM和Microsoft，也有国内目前主流的一些云计算提供商比如阿里云14、盛大云17和百度云18等云商品。本文分析总结了这些厂商在云计算行业中不同服务层级的主要产品，因为在中国提供公有云服务需要相关审批和服务牌照，因此目前国外的几大公有云提供商并没有在中国市场落地生根。上面所列举的这些云提供商产品是不断推陈出新的，例如亚马逊公司就在2010年推出了简化的备份存储（ReducedRedundancyStorage，RRS）15，其实质就是减少数据的拷贝数目来维系一致性，来减少其运营成本，同时也能给用户来给一个更加便宜的选择。不可否认的是，对普通用户来说，云计算提供商提供给用户的是一个黑匣子，无法知道其内部的运行情况和结构，也无法对其进行优化，只能寄希望于这些公用云提供商也不断地推出一些新的产品来优化其产品门类，并给用户良好的用户体验。本论文在云存储服务质量的研究方面，除了研究公有云平台的性能优化外，还深入到云存储系统内部展开可靠性和资源调度的相关研究工作。1.2.2云存储性能优化研究现状截止到目前，学术界已经有相当多的工作对云存储进行性能优化和可靠性展开研究，通过分类比较，可以分成云存储的性能测量、云存储的性能优化以及云存储可靠性和I/O资源调度研究几大类，下面分别对不同的门类展开阐述：4/TLXGYZXIZXK6RGZLUXS'VVROIGZOUT表1.1国内外公用云平台比较公有云平台SaaSPaaSIaaSMicrosoftAzurendowsAzu11WireWindowsServicesWindowsAzureMarketplacePlatformComputerAmazonWebAWSElasticElasticComputeService16BeanstalkCloud（EC2）GoogleersGoogleAppCloud10GoogleDevelopDocs，CloudPrint等EngineaceRackspaceCloud13RackspEmailRackspaceHosting阿里云14在线应用中心应用中心开发者弹性计算服务盛大云17盛大云主机百度云18百度开放云平台1.2.2.1云存储性能评测研究Brantner等人19利用亚马逊公司的S315存储服务来运行数据库的应用，分析数据库应用在云存储的性能、开销以及一致性的表现。在Walker20和Palankar21的文献中通过将科学应用放在云端进行运行，来评测云计算是否适用于科?扑恪送饷拦乘勾笱腉uohui22对亚马逊的AWS23从CPU性能、网络性能以及存储性能的综合评测后发现，受限制于AWS所采用的Xen24虚拟化方案中DriverDomain的I/O瓶颈，导致AWS的网络和存储性能不稳定，经常会出现阻塞和丢包的情况。正是因为有前面这些云存储性能评测的学术论文所发现的问题，为本文研究云存储的性能优化找到了依据和出发点。1.2.2.2云存储性能优化机理研究亚马逊公司提出的Dynamo25描述了其云存储解决方案S315的框架。Harold26等人在Hadoop27系统中提出了一种多层的中间件框架用于解决HDFS的I/O负载均衡问题。此外Vrable等人针对目前如何将数据转移到云端这个问题，阐述了这种转移所面临的挑战，并提出了相关解决办法。该作者用两个较为经典的应用：文件备份和共享网络文件系统为例，各自建设了一个能够证明移向云端可行性的系统：Cumulus28和BlueSky29。Cumulus主要解决的问题是：费用和安全，而BlueSky除5了这两个问题外，还着重提高了云存储性能。此外国防科技大学的王意洁等人30对分布式环境中云存储的相关技术进行了详细的研究和介绍。1.2.2.3云存储可靠性研究云存储的可靠性和安全性对于用户来讲是其考虑是否移植数据到云端所关注的重要方面，这方面的论文研究较多，最早可以追溯到的OceanStore34是基于P2P35结构的分布式存储应用，目标是向用户提供强持久性、高可用性、可扩展性和安全性的服务。它的整个可靠性保证策略分为两个大的方面：纠错码（ErasureCoding）和拷贝（Replication）。纠错码主要是保证数据的持久性，而拷贝主要是保证用户的访问速度。目前在云存储系统中也是利用这两种技术来保证其可靠性。目前比较通用的做法是使用三份复制，如Amazon的SimpleStorageService（S3）15、GFS36和以GFS为参照的一批开源分布式云文件系统HDFS37等，这些云文件系统通过合理的数据布局以期保证数据的高可靠性和高吞吐率。DanielFord等人38等人通过对Google主要存储系统一年的负载追踪研究，得出了云存储环境的可用性的统计规律，即系统的可靠性主要依据关联失败的频率和数量，为云存储系统设计，尤其是数据布局和副本策略提供了可靠依据。WindowsAzure11是介绍微软云平台的文章，文中描述了他们的Extent一级采用了所罗门纠删码39，只需要存储1.3X-1.5X的原数据量，即可获得比三份复制更高的空间效率和数据可靠性。Facebook5在自己的集群环境中评估了RAID6和其他纠删码的性能，但文献中没有较为详细的组织策略和结构说明。卡内基梅隆大学BinFan等人提出的DiskReduce40详细研究了如何将RAID技术应用到HDFS中，保证数据可靠性的同时，单纯利用Per-dir方式将空间开销从三份复制的200%降低到25%。此外YuchongHu等人提出的NCCloud41，通过代理为多个云存储系统实现纠删码冗余，并提出了功能性最小存储再生码，NCCloud的主要优化目标是减少单节点修复时的恢复开销。总之关于云存储的可靠性研究是目前学术界的热点问题之一，学者们思考如何在云环境中找到最佳的可靠性方案，以能减少存储的开销并能提升正常和降级读写的能力，而且能最大化的减少数据恢复时间，本文也对这个热点问题开展相关研究。61.2.2.4云存储I/O资源调度研究在云端，负载均衡是维护系统性能的重要目标，存储I/O也是虚拟机的瓶颈，当前采用服务水平目标（ServiceLevelObjective，SLO）作为衡量调度机制好坏的重要指标42，目前已有的云端I/O资源调度算法集中在以下几个方面：QiZhang等人的论文43分析了AmazonEC2SpotMarkets44的市场特性，分析价格历史记录和不同虚拟机类型的需求曲线，通过解优化问题制定最佳的虚拟机放置策略，最大化收益率。Ajay等人提出的Pesto45则从另外一个角度，同时对磁盘I/O特性和工作负荷进行建模，得到合理的工作负荷分配策略，实现存储系统中资源利用的最大化。还有一些I/O资源资源算法，包括pClock46、mClock47、NestedQoS48、Avatar49旨在提供健壮的隔离机制，解决存储相关的底层问题。mClock47提供了基于保留带宽的按比例分配，虽然确保了有效的隔离，但是效率较低，另外分布式的Avatar49算法需要人为设定虚拟机在各存储节点上的局部SLO，适应性较差。pClock46和NestedQoS48作为基于响应时间控制的算法主要目标是尽可能利用系统资源，同时减少系统I/O资源的预分配量。pClock46的最大特性是虚拟机利用多余资源以后而不会影响接下来继续公平竞争I/O资源。NestedQoS48制订了嵌套式的SLO模型来减少工作负载使用单SLO模型时对系统资源的需求。最高层的SLO采用最早截止时间优先算法（EarliestDeadlineFirst，EDF）50调度策略，多余的资源再尽量为低层SLO的I/O请求服务。这种算法的缺点是I/O请求被划分到不同的SLO层次中后，原有的请求顺序会被打乱，既可能造成数据一致性上的问题，也为工作负载整合带来不便。更主要的是，这两种基于响应时间控制的算法没有在云端实践。本文旨在找到一种云端自适应的调度算法以能达到更好的节点负载均衡，提升云存储的服务质量。1.2.3云计算经济模型研究正如伯克利大学的云计算观念7所提出的云计算唯一的创新就是商业模式的创新，可以让用户实现按需付费，按需存储、并轻易实现弹性和伸缩计算，具备很强的扩展性，因此有必要结合云计算的特点分析其经济属性、实施模式并概述当前云经济的国内外研究现状。1.2.3.1云计算经济属性云计算把计算作为商品，按照市场经济的方式提供给服务用户，在多个用户，7这样可以使得资源的利用率大大提高。众所周知，由于服务器空闲减少，内存和硬盘等存储空间可以按照自动精简配置的方式，根据所有用户的需求及时添加，这样可以降低所有用户以及单个用户的成本：另一方面，应用程序由于云计算服务的提供商提供方便快捷开发部署机制，大大地加快开发速度。就如同电力公司通过从中央电厂为买主输送电力，即取得了在动力生产上的规模经济效应一样，总之云计算通过互联网为用户提供计算服务，同样是具有规模经济性的。在工业经济时代，产品的接受方是用户，无法涉足商品的生产过程，对商品生产过程无法产生实质影响。反观，在信息社会中，创新过程和生产过程齐头并进，用户需求也可以影响产品的生产过程。因此大家可以把云计算理解为新一代服务经济的基础设施和工具，带领人们迈向全新的服务经济时代，告别大工业生产的单一化和拼成本，同时也能告别农业经济时代的高成本和低效率。工业经济时代提供的产品很难满足个性化需求，农业经济时代提供的产品虽然个性化，但无法进行大规模生产。而服务经济时代结合二者的优点，回避它的缺点，将人类的生产带入一个崭新的时代，同时这也是云计算所带来的经济学上的巨大意义。因为这样一种意义，云计算给任何一个行业、一个区域、一个企业，甚至一个国家带来巨大的潜力需要深入思考并且加以利用。1.2.3.2云计算实施模式目前为止云计算总共有四种实施模式，分别是:私有云、公有云、混合云和社区云。?私有云：私有云就是在企业内部搭建的计算资源平台，在企业内部拥有并使用很多私有云平台。使用者看不到物理机器，每个人使用的是虚拟机，所有的数据不存在本地，而是存储在企业的数据中心内，并且能很快地部署所需要的相应环境。?公有云：公共云是在公共网络上搭建的计算平台，比如表1.1所列出的云计算提供商提供的公有云服务。这种类型的云服务通常遍布整个因特网，能够服务于几乎不限数量的、拥有相同基本架构的客户。?社区云：社区云是若干个企业共享一个云计算平台，介于公有云和私有云之间，可以说是一个小范围的公有云，主要特征是使用权和所属权的分离。这类云专为一系列互不相连的、严格界定的机构而设立。?混合云：混合云是将私有云和公有云结合起来的计算资源，充分利用云计算8的计算能力，比如美国纽约时报，就在报纸排版的时候需要大量的计算资源，如果按照这个峰值配置硬件设备很浪费，80%的机器在80%的时间里都是闲置的，所以他们全部使用云端排版。因此就可以将企业内部的机器和亚马逊这类的云服务供应商相连接，需要的时候通过云计算服务租取机器，以节省成本。如果套用经济学中概念，在交付渠道层面，云计算使得IT基础设施的使用权和所属权分开。在交付服务层面，云计算获得使用并且放弃基础设施的过程都是以服务的方式来进行的。在交付模式层面，私有云的私有权和所属权是结合在一起的；公有云的使用权和所有权是分开的，而且拥有者允许开放的人群、企业访问；社区云的使用者是受限的目标群体；混合云则是将公有云和私有云结合起来。比基础设施更进一步，云计算还可以提供应用服务。也就是说不仅可以帮助客户把系统做好、平台建好，提供工具给客户，使其利用这个平台进行工作部署，云计算服务提供商还可以在平台上为客户搭建应用，提供应用服务。这在经济学上意义极其重大，即云计算带来的是新的服务交付模式31。1.2.3.3云计算经济模型研究