大数据云计算技术

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,大数据云计算技术,mr.zhu,目 录,第一部分,1.1,云计算平台架构,clouDil,1.2,MapReduce+TaskMaster,1.3,DataCube,1.4,cCloud,1.5,cStor,第二部分,云计算平台能力,真正的云计算平台，它有五层架构：,运维管理层：,clouDil,计算层：,MapReduce+TaskMaster,数据管理层：,DataCube,虚拟化层：,cCloud,存储层：,cStor,云计算平台架构,云计算平台架构,目 录,第一部分,1.1,云计算平台架构,1.2,MapReduce+TaskMaster,1.3,DataCube,1.4,cCloud,1.5,cStor,第二部分,云计算平台能力,clouDil,在搭建云计算平台时，遇到了很多的问题和挑战。开始搭建时，第一次来了那么多性能强劲的机器，我们在感到兴奋的同时，也不免有些顾虑。,出了问题怎么办，有没有预警机制？,有没有可视化的管理界面？,机器宕机，管理员能否实时监控到？,如何做性能调优？,扩容升级时，能否给出依据？,带着这些问题，我们开始了自己的云计算平台管理和运营之旅，现在完美的形成了一整套云计算平台管理体系。,clouDil,云平台管理系统,clouDil,云平台管理系统,流量监控,clouDil,云平台管理系统,健康度报告,clouDil,云平台管理系统,节点性能监控,clouDil,云平台管理系统,集群状态监控,clouDil,云平台,管,管理系,统,统,集群状,态,态监控,目 录,第一部,分,分,1.1,云计算,平,平台架,构,构,1.2,clouDil,1.3,DataCube,1.4,cCloud,1.5,cStor,第二部,分,分,云计算,平,平台能,力,力,MapReduce+TaskMaster,MapReduce,是一种,编,编程模,型,型，用,于,于大规,模,模数据,集,集（大,于,于,1TB,）的并,行,行运算,。,。,MapReduce,编程模,型,型,TaskMaster,是云创,存,存储自,主,主研发,的,的一款,高,高效云,调,调度平,台,台。它,保,保证在,云,云计算,平,平台中,部,部分硬,件,件或软,件,件发生,故,故障的,情,情况下,仍,仍不影,响,响系统,的,的正常,运,运行；,保,保证在,云,云计算,平,平台中,高,高效稳,定,定的合,理,理化分,配,配和执,行,行任务,，,，同时,能,能够完,美,美解决,系,系统单,点,点故障,问,问题，,负,负载均,衡,衡，自,动,动调度,与,与部署,。,。,TaskMaster,云计算,调,调度平,台,台,产品优,势,势,高可靠,性,性,：采用,“,“多主,多,多备，,负,负载均,衡,衡”的,管,管理节,点,点，从,而,而保证,无,无论管,理,理节点,还,还是处,理,理节点,都,都不存,在,在任何,单,单点故,障,障问题,。,。,低依赖,性,性,：采用,模,模块化,设,设计思,想,想，通,过,过统一,化,化配置,和,和,API,接口的,方,方式向,用,用户提,供,供服务,。,。,低干预,性,性,：采用,基,基于事,件,件化的,统,统一管,理,理模式,。,。在系,统,统无人,值,值守的,情,情况下,自,自动完,成,成故障,处,处理等,功,功能。,高实时,性,性,：在机,器,器性能,允,允许的,范,范围内,，,，所有,任,任务的,控,控制工,作,作基本,都,都在秒,级,级完成,，,，具有,前,前所未,有,有的高,效,效性。,TaskMaster,云计算,调,调度平,台,台,目 录,第一部,分,分,1.1,云计算,平,平台架,构,构,1.2,clouDil,1.3,MapReduce+TaskMaster,1.4,cCloud,1.5,cStor,第二部,分,分,云计算,平,平台能,力,力,DataCube,DataCube(,数据立,方,方,),数据立,方,方是一,种,种高效,分,分布式,的,的处理,海,海量数,据,据的云,处,处理软,件,件，具,有,有从,TB,乃至,PB,级的数,据,据中挖,掘,掘出有,用,用的信,息,息并进,行,行快捷,、,、高效,处,处理的,能,能力，,同,同时支,持,持数据,仓,仓库存,储,储和商,业,业智能,分,分析等,业,业务。,该,该软件,基,基于,hadoop,平台大,数,数据处,理,理的解,决,决方案,，,，具有,处,处理能,力,力高效,、,、超高,可,可靠性,的,的优点,。,。,DataCube(,数据立,方,方,),产品特,点,点,对任意,多,多关键,字,字实时,索,索引,支持类,SQL,复杂并,行,行组合,查,查询,分布式,万,万兆实,时,时数据,流,流秒级,处,处理,系统无,单,单点，,确,确保意,外,外情况,下,下，系,统,统的正,常,常运行,数据立,方,方管理,系,系统,数据立,方,方管理,系,系统,数据立,方,方管理,系,系统,目 录,第一部,分,分,1.1,云计算,平,平台架,构,构,1.2,clouDil,1.3,MapReduce+TaskMaster,1.4,DataCube,1.5,cStor,第二部,分,分,云计算,平,平台能,力,力,cCloud,cCloud,是南京,云,云创存,储,储科技,有,有限公,司,司自主,研,研发的,虚,虚拟化,云,云计算,平,平台。,cCloud,平台可,以,以加速,高,高伸缩,性,性的公,共,共和私,有,有云,IaaS,的部署,、,、管理,、,、配置,。,。帮助,企,企业用,户,户快速,而,而轻松,地,地将虚,拟,拟数据,中,中心资,源,源转入自动,化,化、富,于,于弹性,且,且可自,我,我服务,的,的云平,台,台中。,另,另外,cCloud,兼容亚,马,马逊,API,接口允,许,许跨,cCloud,和亚马,逊,逊平台,实,实现负,载,载兼容,。,。使用,cCloud,作为基,础,础数据,中,中心操,作,作者可,以,以快速,方,方便的,通,通过现,存,存基础,架,架构创,建,建云服,务,务。,cCloud,虚拟化,云,云计算,平,平台,cCloud,系统构,架,架,cCloud,虚拟化,云,云计算,平,平台,cCloud,后台管,理,理系统,cCloud,后台管,理,理系统,cCloud,后台管,理,理系统,cCloud,后台管,理,理系统,目 录,第一部,分,分,1.1,云计算,平,平台架,构,构,1.2,clouDil,1.3,MapReduce+TaskMaster,1.4,DataCube,1.5,cCloud,第二部,分,分,云计算,平,平台能,力,力,cStor,cStor,云存储,系,系统是,南,南京云,创,创存储,自,自主研,发,发的高,科,科技产,品,品。与,传,传统的,大,大规模,存,存储系,统,统相比,，,，,cStor,针对绝,大,大多数,数,数据密,集,集型应,用,用的特,点,点从多,个,个方面,进,进,行了优,化,化，从,而,而在一,定,定规模,下,下达到,成,成本、,可,可靠性,和,和性能,的,的最佳,平,平衡。,目前，,cStor,云存储,系,系统已,成,成功应,用,用于安,防,防、广,电,电、交,通,通、电,信,信、政,务,务等诸,多,多领域,。,。,cStor,云存储,系,系统,产品特,性,性,优异性,能,能,：支持,高,高并发,、,、带宽,饱,饱和利,用,用。,cStor,云存储,系,系统将,控,控制流,和,和数据,流,流分离,，,，数据,访,访问时,多,多个存,储,储服务,器,器同时,对,对外提,供,供服务,，,，实现,高,高并发,访,访问。,高度可,靠,靠,：采用,多,多个数,据,据块副,本,本的方,式,式实现,冗,冗余可,靠,靠，数,据,据在不,同,同的存,储,储节点,上,上具有,多,多个块,副,副本，,任,任意节,点,点发生,故,故障，,系,系统将,自,自动复,制,制数据,块,块副本,到,到新的,存,存储节,点,点上，,数,数据不,会,会丢失,，,，实现,数,数据完,整,整可靠,。,。,cStor,云存储,系,系统,在线伸,缩,缩,：可以,在,在不停,止,止服务,的,的情况,下,下，动,态,态加入,新,新的存,储,储节点,，,，无需,任,任何操,作,作，即,可,可实现,系,系统容,量,量从,TB,级向,PB,级平滑,扩,扩展；,也,也可以,取,取下任,意,意节点,，,，系统,自,自动缩,小,小规模,而,而不丢,失,失数据,，,，并自,动,动将取,下,下的节,点,点上的,数,数据备,份,份到其,他,他节点,上,上，保,证,证整个,系,系统数,据,据的冗,余,余数。,超大规,模,模,：支持,超,超大规,模,模集群,，,，理论,容,容量为,1024*1024*1024PB,。,简单通,用,用：,支持,POSIX,接口规,范,范，支,持,持,Windows/Linux/MacOSX,，可当,成,成海量,磁,磁盘使,用,用，无,需,需修改,应,应用。,同,同时系,统,统也对,外,外提供,专,专用的,高,高速,API,访问接,口,口。,cStor,云存储,系,系统,cStor,超安存,云,云存储,系,系统是,新,新一代,基,基于编,码,码技术,的,的分布,式,式文件,存,存储系,统,统，它,在,在,cStor,云存储,系,系统的,基,基础上,，,，融入,RS,编解码,取,取代传,统,统副本,冗,冗余的,方,方式进,行,行系统,容,容错，,编,编解码,参,参数,M+N,可根据,应,应用需,求,求灵活,配,配置。,相对于,传,传统的,副,副本冗,余,余容错,方式而,言,言，具,有,有更高,的,的磁盘,利,利用率,和,和更高,的,的系统,可,可靠性,，,，如采,用,用,8+2,的编解,码,码容错,方,方式，,磁,磁盘利,用,用率可,以,以达到,80%,，允许,同,同时损,坏,坏,2,台存储,服,服务器,。,。,cStor,超安存,云,云存储,系,系统,产品特,性,性,高磁盘,利,利用率,：对于,传,传统具,有,有,N,份副本,容,容错而,言,言，其,磁,磁盘利,用,用率只,有,有,1/N,，而采,用,用编解,码,码方式,，,，磁盘,利,利用率,为,为,M/(N+M),，如,8+2,，其磁,盘,盘利用,率,率为,80%,。,高可靠,性,性,：传统,全,全副本,的,的容错,方,方式，,通,通过牺,牲,牲磁盘,的,的有效,容,容量来,提,提升系,统,统的可,靠,靠性，,如,如,1,：,1,副本容,错,错，磁,盘,盘利用,率,率为,50%,，只能,损,损坏,1,台存储,节,节点；,而,而采用,2+2,的编解,码,码方式,，,，在磁,盘,盘利用,率,率为,50%,的情况,下,下，允,许,许同时,损,损坏,2,台存储,节,节点。,cStor,超安存,云,云存储,系,系统,高安全,性,性,：数据,在,在编码,的,的过程,中,中，也,起,起到数,据,据加密,的,的作用,，,，必须,通,通过对,应,应的解,密,密算法,解,解码才,能,能够获,取,取到原,始,始数据,，,，提升,了,了系统,的,的安全,性,性。,优异性,能,能,：所有,的,的存储,节,节点兼,作,作编解,码,码计算,节,节点，,有,有效的,保,保证了,客,客户端,的,的写入,性,性能，,同,同时充,分,分利用,了,了整个,系,系统中,大,大量存,储,储节点,的,的计算,资,资源。,cStor,超安存,云,云存储,系,系统,目 录,第一部,分,分,1.1,云计算,平,平台架,构,构,1.2,clouDil,1.3,MapReduce+TaskMaster,1.4,DataCube,1.5,cCloud,第二部,分,分,cStor,云计算,平,平台能,力,力,数据立,方,方,ETL,工具,数据立,方,方,etl,工具是,一,一个用,来,来将数,据,据立方,和,和关系,型,型数据,