网络新技术之大数据39

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2014-2-25,#,网络新技术之大数据,5.大数据,技,技术,5.1大数据,的,的定义,5.2大数据,的,的技术,特,特征,5.3大数据,的,的典型,应,应用,5.4大数据,的,的发展,趋,趋势,一组数,据,据,3亿用户,每天上,亿,亿条微,博,博.,2015年全球,移,移动终,端,端产生,的,的数据,量,量6300PB,Facebook每天要,存,存储大,约,约100TB的用户,数,数据；,NASA美国宇,航,航局,每天要,处,处理约24TB的数据,微信国,内,内用户4亿，国,外,外用户,突,突破7千万，,每,每天产,生,生数据,百度每,天,天处理,数,数据量100PB,GB,TB,PB,EB,ZB,大数据时,代,代的爆,炸,炸增长,想驾驭,这,这庞大,的,的数据,，,，我们,必,必须了,解,解大数,据,据的特,征,征。,地球上,至,至今总,共,共的数,据,据量：,在2006年，个,人,人用户,才,才刚刚,迈,迈进TB时代，全球,一,一共新,产,产生了,约,约180EB的数据；,在2011年，这,个,个数字,达,达到了1.8ZB。,而有市,场,场研究机构预,测,测：,到2020年，整,个,个世界,的,的数据,总,总量将,会,会增长44倍，达,到,到35.2ZB（1ZB,=,=10亿TB）！,1PB（拍字,节,节）=250字节,1EB（艾字,节,节）=260字节,1ZB（泽字,节,节）=2,70字节,大数据,概,概念和,特,特征,什么是,大,大数据(Big data,),)？,维基百科,的,的定义：大数据指,难,难以用,常,常用的,软,软件工,具,具在可容忍,时,时间内抓取,、,、管理,以,以及处,理,理的数,据,据集(一般单,个,个数据,集,集大小,在,在10T左右)。,大数据之,所,所以在最近走,红,红，主要,归,归结于,互,互联网,、,、移动,设,设备、,物,物联网,和,和云,计,计,算,算等快速,崛,崛起，,全,全球数,据,据量大,大,大提升。,“大数,据,据”是继云,计,计算、,物,物联网,之,之后IT产业又,一,一次颠,覆,覆性的,技,技术变,革,革,2006年左右,，,，数据,量,量已足,够,够大，,但,但是当,时,时大数,据,据不红,，,，why？,为什么,叫,叫大数据：,一,一是数,量,量大,YB:2的80次方，ZB的1000倍,ZB:2的70次方，EB的1000倍,EB:2的60次方，PB的1000倍,PB:2的50次方，TB的1000倍,TB:2的40次方，GB的1000倍,GB:2的30次方，MB的1000倍,绝大部,分,分应用,在,在这两,个,个数量,级,级,二是类,型,型多,结构特,征,征：结,构,构化、,半,半结构,化,化、非,结,结构化,拥有特,征,征：私有,、,、共有,、,、公开,形态特,征,征：语,音,音、文,本,本、数,值,值、图,像,像、视,频,频,为什么,叫,叫大数,据,据：二,是,是类型,多,多,三是更,接,接近把握信,息,息资源,的,的本质,大数据,真,真正开,始,始把信,息,息变成,资,资源,有的文章,将,将大数,据,据看作,石,石油，,大,大数据,研,研究与,自,自然资,源,源利用,发,发现、,开,开采、,提,提炼存,在,在一定,的,的相似之,处,处,研究大数据,，,，首先,要,要研究,各,各种有,用,用的信,息,息在何,处,处，就,是,是找矿,其次是把满,足,足特定,需,需求的,信,信息收,集,集过来,，,，就是开矿,第三是把收,集,集的信,息,息按应,用,用需求,进,进行结,构,构化处,理,理，就,是,是提炼,，,，如同,石,石油必,须,须经过,炼,炼化才,能,能变成,消,消费用,的,的汽油,、,、柴油,或,或作为,原,原料用,的,的聚乙,烯,烯、聚丙烯,第四是将这,样,样的信,息,息与具,体,体的应用结合，,使,使之发,挥,挥作用,，,，这就,是,是基于,大,大数据,的,的应用,系,系统，,或,或称之,为,为围绕,应,应用的,大,大数据,管,管理系,统,统，如,同,同汽油,通,通过加,油,油站加,到,到消费,者,者的汽,车,车内，,石,石化原,料,料变成,衣,衣服、,设,设备或,其,其部件。,大数据,的,的各部,分,分组成,大数据,技,技术：,图,图像、,音,音频、,视,视频、,非,非结构,化,化、社,交,交关系,数,数据处,理,理技术,商,商；,现有IT系统改,造,造商：,大,大数据,咨,咨询公,司,司、集,成,成商、ERP、商务,智,智能、,客,客户关,系,系管理,系,系统；,终端提,供,供商向,数,数据提,供,供商演,进,进：对,现,现有客,户,户数据,的,的深度,把,把握、,建,建立客,户,户之间,的,的社交,和,和联系,；,；,展现方,式,式：大,型,型控制,中,中心、,移,移动终,端,端,在多样,性,性、体,量,量、速,度,度三大,特,特征的,指,指引下,，,，大数,据,据将有,新,新型的,展,展现方,式,式：大,型,型控制,中,中心和,移,移动终,端,端，实,现,现数据,的,的实时,处,处理和,快,快速决,策,策。,大数据,与,与传统,数,数据库,11,采集环节,存储环节,分析环节,应用环节,传统数据分析,大数据分析,扩展到传感、互联网、交易等多来源多类型数据,来源单一，以内部结构化数据为主,主要是面向结构化数据和事务处理的关系型数据库,扩展到面向非结构化数据和分析处理的非关系型数据库,依赖高性能计算机，主要利用统计和机器学习算法,需用分布式并行计算，,Scale out,能力，以机器学习算法为主,局限在金融、保险、零售、电信等少数领域，以决策支撑为主,有望渗透到政府、医疗、交通等各个领域，嵌入到业务流程中,来源广，,3V,非结构化和面向分析为主,分布式并行架构结合机器学习算法,更广的领域，更深入的嵌入业务流,大数据系统的特点,大数据资源,大数据工具,大数据理念,大数据,与,与其他,新,新兴技,术,术的关,系,系,大数据,、,、物联,网,网、云,计,计算、,移,移动通,信,信等都,是,是近年,涌,涌现出,来,来的新,兴,兴概念,，,，彼此,之,之间不,是,是孤立,的,的，而,是,是存在,着,着内部,联,联系。,大数据,带,带来的,思,思维方,式,式的变,化,化,处理的,对,对象往,往,往是全,部,部数据,，,，而不,是,是部分,数,数据的,采,采样,采样的,不,不合理,会,会导致,预,预测结,果,果的偏,差,差，在,大,大数据,时,时代，,依,依靠强,大,大的数,据,据处理,能,能力，,应,应该去,处,处理全,部,部的数,据,据。,不再执,迷,迷于精,确,确性,精确的,、,、规范,化,化的、,可,可以被,传,传统数,据,据库处,理,理的数,据,据只占,全,全部数,据,据的5%，必须,接,接受不,精,精确性,才,才能处,理,理另外95%的数据,。,。,错误的,数,数据是,客,客观存,在,在的，,竭,竭力避,免,免它就,失,失去了,应,应有的,客,客观性,和,和公平,性,性。,大数据的,简,简单算,法,法比小,数,数据的,复,复杂算,法,法更有,效,效。,更加关,注,注相关,性,性，而,不,不是因,果,果性,预测依,靠,靠的是,相,相关性,。,。,很多情,况,况下知,道,道“是,什,什么”,即,即可，,不,不必知,道,道“为,什,什么”,。,。,大数据,的,的价值,链,链,数据,数据的,掌,掌控者,，,，拥有,或,或者可,以,以收集,大,大量数,据,据的公,司,司。海,量,量的数,据,据就是,财,财富，,可,可以考,虑,虑自己,分,分析或,者,者卖数,据,据给其,他,他公司,。,。,技术,技术供,应,应商或,者,者分析,公,公司。,掌,掌握了,从,从海量,数,数据中,分,分析出,有,有用信,息,息的技,能,能或者,工,工具，,但,但本身,不,不一定,拥,拥有数,据,据。,思维,有创新,思,思维的,人,人或者,公,公司。,他,他们对,大,大数据,敏,敏感，,有,有怎样,挖,挖掘数,据,据的新,价,价值的,独,独特想,法,法。,2013北京泽,佳,佳公司,版,版权所,有,有,Copyright,2013ZejiaConsulting Corporation,第15页,大数据,基,基础架,构,构要求,可预测,的,的低延,迟,迟,高事务参,数,数,灵活的,数,数据结,构,构,获取,组织,分析,决策,高吞吐,量,量,就地准备,所有数,据,据源和,结,结构,深度分,析,析,敏捷开,发,发,高度可,伸,伸缩性,实时,流数据,运营影,响,响,5.大数据,技,技术,5.1大数据,的,的定义,5.2大数据,的,的技术,特,特征,5.3大数据,的,的典型,应,应用,5.4大数据,的,的发展,趋,趋势,大数据,的,的技术,特,特征,数据结构,：,：结,构,构化数,据,据与非,结,结构化,数,数据,数据库,数,数据模,型,型：关,系,系型数,据,据库与,非,非关系,型,型数据,库,库,数据处,理,理特性,：,：OLTP与OLAP,数据一,致,致性：,强,强一致,性,性与最,终,终一致性,数据存储,方,方式：,行,行式存,储,储与列,式,式存储,数据库,存,存储与,处,处理架,构,构：SMP与MPP,数据存,储,储架构,：,：传统,分,分布式,文,文件与,新,新型分,布,布式文,件,件,数据处理,架,架构：,基,基于并,行,行计算,的,的分布,式,式数据,处,处理技术（MapReduce）,-17-,数据的结,构,构结构化、非结构化、半,结,结构化,数,数据,-18-,对比项,结构化数据,非结构化数据,半非结构化数据,定义,有数据结构描述信息的数据,不方便用固定结构来表现的数据,介于完全结构化数据和完全无结构的数据之间的数据,结构与内容的关系,先有结构、再有数据,只有数据，没有结构,先有数据，再有结构,示例,各类表格,图形、图像、音频、视频信息,HTML,文档，它一般是自描述的，数据的结构和内容混在一起,结构化,数,数据和,非,非结构,化,化数据,都,都是客,观,观存在,，,，大数据技术需要,涵,涵盖两,者,者,数据库,数,数据模,型,型关系型,数,数据库,与,与非关系型数,据,据库,在大数,据,据技术中非关系型数据库技,术,术是必,不,不可少的，但关系数,据,据库也,是,是不可,或,或缺的,-19-,对比项,关系型数据库,非关系型数据库,定义,创建在关系模型基础上，借助于集合代数等数学概念和方法来处理数据库中的数据,关系模型由关系数据结构、关系操作集合、关系完整性约束三部分组成,没有标准定义,包括：表存储数据库、键值存储数据库、面向文档的数据库等,接口语言,SQL,（,Structured Query Language,，结构化查询语言），对数据库中的数据进行查询、操作和管理,无统一标准,包括：各自定义的,API,、类,SQL,、,MR,等,典型案例,Oracel,、,DB2,、,Sybase,、,SQL Server,、,Mysql,、,Postgresql,等,新型的,MPP RDB,（,Greenplum,）也属于关系型数据库,Hbase,、,MongoDB,、,Redis,数据处,理,理特性OLTP与OLAP,-20-,比较项,联机事务处理,OLTP,（,On-Line Transaction Processing,）,联机分析处理,OLAP,（,On-Line Analytical Processing,）,基本类型,业务操作型,业务分析型,数据特性,对一条记录数据会多次修改，,支持大量并发用户添加和修改数据,数据写入后基本不再修改，能较好地支持大量并发用户进行大数据量查询,技术特性,确保数据的一致性,确保事务的完整性,数据读写实时性高,支持多维数据以及对多维数据的复杂分析,大数据量,数据量,GB-TB,级,TB-PB,级,典型示例,银行业务系统,/,数据库,各类决策分析系