大数据时代培训资料

Click To Edit Title Style,*,艾普云Openstack云系统专家,大数,据,据时,代,代,Is coming,目录,什么,是,是BigData,1.,2,大数,据,据市,场,场简,析,析,2.,云与,大,大数,据,据,3.,大数,据,据应,用,用案,例,例,4.,艾普,云,云在,大,大数,据,据时,代,代的,布,布局,5,.,20,世纪,90,年代,，,，数,据,据仓,库,库之,父,父的,BillInmon,就经,常,常提,及,及,BigData,2011,年,5,月，,在,在“,云,云计,算,算相,遇,遇大,数,数据,”,”,为,为主,题,题的,EMCWorld2011,会议,中,中，,EMC,抛出,了,了,BigData,概念,BigData,名词,由,由来,全球,每,每秒,钟,钟发,送,送,2.9,百万,封,电子,邮,邮件,，,，一,分,分钟,读,读一,篇,篇的,话,话，,足,足够,一,一个,人,人昼,夜,夜不,息,息的,读,读,5.5,年,每天,会,会有,2.88,万,个小,时,时,的视,频,频上,传,传到,Youtube,，足,够,够一,个,个人,昼,昼夜,不,不息,的,的观,看,看,3.3,年,推特,上,上每,天,天发,布,布,5,千万,条,消息,，,，假,设,设,10,秒钟,浏,浏览,一,一条,信,信息,，,，这,些,些消,息,息足,够,够一,个,个人,昼,昼夜,不,不息,的,的浏,览,览,16,年,每天,亚,亚马,逊,逊上,将,将产,生,生,6.3,百万,笔,订单,每个,月,月网,民,民在,Facebook,上要,花,花费,7,千亿,分钟,，被,移,移动,互,互联,网,网使,用,用者,发,发送,和,和接,收,收的,数,数据,高,高达,1.3EB,Google,上每,天,天需,要,要处,理,理,24PB,的数,据,据,在,web2.0,的时,代,代，,人,人们,从,从信,息,息的,被,被动,接,接受,者,者变,成,成了,主,主动,创,创造,者,者,BigData,时代,到,到来,TB,PB,ZB,EB,大量,新,新数,据,据源,的,的出,现,现则,导,导致,了,了非,结,结构,化,化、,半,半结,构,构化,数,数据,爆,爆发,式,式的,增,增长,根据,IDC,监测，人类产生的数据量正在呈指数级增长，大约每两年翻一番，这个速度在,2020,年之前会继续保持下去。这意味着人类在最近两年产生的数据量相当于之前产生的全部数据量,数据量增加,数据结构日趋复杂,这些由我们创造的信息背后产生的这些数据早已经远远超越了目前人力所能处理的范畴,大数据时代正在来临,.,BigData,时代,到,到来,1.,Volume,2.,Variety,3.value,4.,Velocity,结构化数据、半结构化数据和非结构化数据,如今的数据类型早已不是单一的文本形式，订单、日志、音频，能力提出了更高的要求,沙里淘金，价值密度低,以视频为例，一部一小时的视频，在连续不间断监控过程中，可能有用的数据仅仅只有一两秒。如何通过强大的机器算法更迅速地完成数据的价值“提纯”是目前大数据汹涌背景下亟待解决的难题,实时获取需要的信息,大数据区分于传统数据最显著的特征。如今已是,ZB,时代，在如此海量的数据面前，处理数据的效率就是企业的生命,大数,据,据是,指,指无,法,法在,一,一定,时,时间,内,内用,传,传统,数,数据,库,库软,件,件工,具,具对,其,其内,容,容进,行,行抓,取,取、,管,管理,和,和处,理,理的,数,数据,集,集合,什么,是,是,BigData,数据,量,量巨,大,大,全球,在,在,2010,年正,式,式进,入,入,ZB,时代,，,，,IDC,预计,到,到,2020,年，,全,全球,将,将总,共,共拥,有,有,35ZB,的数,据,据量,大数,据,据的,含,含义,与,与界,定,定,大数,据,据是,指,指数,据,据量,超,超出,传,传统,尺,尺度,，,，一,般,般软,件,件工,具,具难,以,以捕,获,获、,存,存储,、,、管,理,理和,分,分析,的,的数,据,据集,。,。,不同,行,行业,、,、不,同,同企,业,业、,不,不同,时,时期,、,、大,数,数据,的,的规,模,模不,尽,尽相,同,同、,无,无需,也,也无,法,法统,一,一。,目前,，,，大,体,体上,，,，数据,量,量达,到,到大,字,字节,（,（,TB,2,40,）的,，,，被,称,称作,大,大数,据,据。,数据,存,存储,演,演进,及,及含,义,义,单位,代号,数值,含义的概略表述,字节,Byte,8,位（,Bit,）,在计算机上的一个字母是,1B,千字节,KB,2,10,字节,一页文字大约,5KB,兆字节,MB,2,20,字节,一首流行歌曲大约,4MB,吉字节,GB,2,30,字节,一部电影大约,1GB,太字节,TB,2,40,字节,美国国会图书馆网络备份大约,260TB,拍字节,PB,2,50,字节,谷歌每小时处理数据大约,1PB,艾字节,EB,2,60,字节,中国每人一册,500,页的书大约,1EB,泽字节,ZB,2,70,字节,截止,2010,年全人类信息总量约,1.2ZB,尧字节,YB,2,80,字节,目前难以表述,大数,据,据的,基,基本,特,特征,五大,基本特征,B,E,C,D,A,专属的、,可共享的,海量的、,可细分的,动态的、,可扩展的,沉淀的、,可挖掘的,实时的、,可追溯的,目录,什么,是,是BigData,1.,10,大数,据,据市,场,场简,析,析,2.,云与,大,大数,据,据,3.,大数,据,据应,用,用案,例,例,4.,艾普,云,云在,大,大数,据,据时,代,代的,布,布局,5,.,中国,大,大数,据,据市,场,场分,析,析,11,1,2011,年,-2016,年中,国,国大,数,数据,市,市场,规,规模,2,2012,年各,行,行业,大,大数,据,据市,场,场规,模,模,计世,资,资讯,预,预测,，,，,2012,年政,府,府、,互,互联,网,网、,电,电信,、,、金,融,融的,大,大数,据,据市,场,场规,模,模较,大,大，,四,四个,行,行业,将,将占,据,据一,半,半市,场,场份,额,额。,由于,各,各个,行,行业,都,都存,在,在大,数,数据,应,应用,需,需求,，,，潜,在,在市,场,场空,间,间非,常,常可,观,观。,计世,资,资讯,认,认为,，,，,2011,年是,中,中国,大,大数,据,据市,场,场元,年,年，,一,一些,大,大数,据,据产,品,品已,经,经推,出,出，,部,部分,行,行业,也,也有,大,大数,据,据应,用,用案,例,例的,产,产生,。,。,2012,年,-2016,年，,将,将迎,来,来大,数,数据,市,市场,的,的飞,速,速发,展,展。,计世,资,资讯,预,预测,，,，,2012,年中,国,国大,数,数据,市,市场,规,规模,将,将达,到,到,4.7,亿元,，,，,2013,年大,数,数据,市,市场,将,将迎,来,来增,速,速为,138.3%,的飞,跃,跃，,到,到,2016,年，,整,整个,市,市场,规,规模,逼,逼近,百,百亿,。,。,中国,企,企业,大,大数,据,据现,状,状,12,半结构化数据,结构化数据,非结构化数据,企业,非,非结,构,构化,数,数据,越,越来,越,越多,中国,500,强企,业,业日,数,数据,生,生成,量,量,中国,500,强企,业,业数,据,据中,心,心数,据,据年,增,增长,率,率,中国,企,企业,级,级数,据,据中,心,心数,据,据存,储,储量,正,正在,快,快速,增,增长,，,，非,结,结构,化,化数,据,据呈,指,指数,倍,倍增,长,长，,如,如果,能,能有,效,效的,处,处理,和,和分,析,析，,非,非结,构,构数,据,据中,也,也富,含,含了,对,对企,业,业非,常,常有,价,价值,的,的信,息,息。,企业,大,大数,据,据应,用,用需,求,求分,析,析,13,1,3,各行业企,业,业对大数,据,据的关注,程,程度,目前企业,的,的数据系,统,统架构存,在,在问题,2,目前企业,数,数据分析,处,处理面临,的,的问题,大数据对,经,经济社会,影,影响巨大,据国外预,测,测：,大数据用,于,于制造业,能,能减少,50%,的成本，用于零,售,售业能增加,60%,的利润。,美国将大,数,数据用于,医,医疗保健,，,，能产生,3000,亿美元的效益；,欧,欧洲把大,数,数据用于,公,公关管理,能,能产生,2500,亿欧元的效益。,大数据引,入,入经济学,和,和社会学,，,，基于数,据,据精确量,化,化分析的,社,社会科学,，,，被称为“计算社,会,会科学”。,各国高度,关,关注大数,据,据的应用,2009,年，联合,国,国启动,全球脉动,计,计划,，借助大,数,数据分析,全,全球灾害,、,、疾病、,环,环境变化,等,等，向相,关,关各方发,出,出预警，,推,推动应对,。,。,2012,年,1,月，,WEF,达沃斯年,会,会把“大数据,、,、大发展,”,”列为重要,议,议题，引,起,起全球政,界,界、商界,的,的高度关,注,注。,2012,年,3,月，美国,政,政府发布,大数据研,究,究计划,，推进大,数,数据在科,研,研、医疗,、,、能源、,安,安全等领,域,域的应用,。,。,欧盟、日,本,本、新加,坡,坡等国政,府,府都在加,紧,紧行动。,目录,什么是Big Data,1.,16,大数据案,例,例,4.,3,.,云与大数,据,据,大数据市,场,场简析,2.,艾普云在,大,大数据时,代,代的布局,5,.,云计算与,大,大数据,白云下面,数,数据跑,蓝蓝的天,上,上白云飘,如果数据,是,是财富，,那,那么大数,据,据就是宝,藏,藏，而云,计,计算就是,挖,挖掘和利,用,用宝藏的,利,利器！没,有,有强大的,计,计算能力,，,，数据宝,藏,藏终究是,镜,镜中花；,没,没有大数,据,据的积淀,，,，云计算,也,也只能是,杀,杀鸡用的,宰,宰牛刀！,大数据时,代,代下的系,统,统需求,Highperformance,高并发读,写,写的需求,高并发、,实,实时动态,获,获取和更,新,新数据,HugeStorage,海量数据,的,的高效率,存,存储和访,问,问的需求,类似,SNS,网站，海,量,量用户信,息,息的高效,率,率实时存,储,储和查询,HighScalability&HighAvailability,高可扩展,性,性和高可,用,用性的需,求,求,需要拥有,快,快速横向,扩,扩展能力,、,、提供,7*24,小时不间,断,断服务,RDBMS VS.NoSQL,高并发读,写,写,大数据存,储,储的,核心需求,高效率存,储,储,和,和访问,高可扩展,性,性和高可,用,用性,低成本建,设,设,运维,保证一致,性,性的开销,过,过大，难,以,以实现高,并,并发,存储性能,受,受限于控,制,制器，性,能,能难以保,证,证,关系型表,单,单存储难,以,以适应不,同,同数据类,型,型,上亿行数,据,据的超级,达,达标效率,极,极低,传统基于,盘,盘阵的存,储,储设备，,造,造价昂贵,，,，且市场,垄,垄断严重,，,，建设成,本,本居高不,下,下，扩容,成,成本尤其,高,高,许可和维,护,护花费高,昂,昂,无法简单,的,的通过添,加,加服务节,点,点来扩展,数,数据容量,和,和负载能,力,力，难以,进,进行横向,扩,扩展,数据库升,级,级需要停,机,机维护和,数,数据迁移,，,，导致服,务,务中断,不保证遵,循,循,ACID,原则，提,高,高并发读,写,写性能,Schema-Free,存储适应,不,不同数据,类,类型,舍弃,SQL,标准功能,，,，尽量简,化,化数据操,作,作，提升,效,效率,MapReduce,实现高效,访,访问,基于,X86,设备，价,格,格低廉,开源系统,，,，节省许,可,可费用,支持水平,扩,扩展，可,简,简单的通,过,过添加