大数据基本信息

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,#,大,数据,尹航,2014 10,月 成都,Big Data,大数据,什么是大数据,大数据原理和构成,大数据应用,大数据价值,Big Data,目录,什么是,大,大数据,Big Data,什么是大数据,Hadoop,IBM,英特尔,HP,数据,商业智,能,能,数据库,服务器,SAPHANA,NoSQL,SQL,HDFS,预测,数据流,运算节,点,点,机器学,习,习,并行计,算,算,磁盘阵,列,列,甲骨文,AMD,内存计,算,算,Google,Mapreduce,可视化,Gb,Pb,Tb,Zb,Big Data,什么是大数据,由多个软件、硬件部分组成的一个,数据系统,一个执行体系,有别于传统企业数据中心，用来应对现代,海量数据,化的生活，商业环境。,不是一个行业，而是一种新的数据处理方法,是关于,数据,的运输和处理，以及最后有效使用的体系,与云计算一样 都是一种新的生产组织形式,Web 2.0,时代的解决方案,大数据(big data,),)，或称,巨,巨量资,料,料，指,的,的是所,涉,涉及的,资,资料量,规,规模巨,大,大到无,法,法透过,目,目前主,流,流软件,工,工具，,在,在合理,时,时间内,达,达到撷,取,取、管,理,理、处,理,理、并,整,整理成,为,为帮助,企,企业经,营,营决策,更,更积极,目,目的的,资,资讯,Big Data,什么是大数据,大数据,的,的目的,原始数据的,处,处理和分类,存,存储,将存储,的,的数据,调,调取并,分,分析,最终提,供,供决策,依,依据,归类数据类型,有效分析组合,大数据,的,的特点,4V,海量,高速,多样,精确,Big Data,什么是大数据,1 KB=1024字节,存储单,位,位,1 MB=1024KB,1 GB=1024MB,1 TB=1024GB,1 PB=1024TB=1,048,576 GB,1 EB=1024PB=1,073,741,824GB,1 ZB=1024EB=1,099,511,627,776GB,100万G,10亿G,1万亿G,22亿台,215万台,2100台,500G硬盘电,脑,脑,15寸电脑,排,排成行,可,可以往,返,返一次,月,月球,Big Data,什么是大数据,Volume海量,1 PB=1024TB=1,048,576 GB,1 EB=1024PB=1,073,741,824GB,1 ZB=1024EB=1,099,511,627,776GB,Intel：人类,文,文明开,始,始到2003年 地,球,球共产,生,生了5EB数据.,2012年全年,，,，全球,产,产生数,据,据2.7ZB是2003年以前,的,的500倍,2015年，全,球,球估计,产,产生数,据,据8ZB，等于1800万个美,国,国国会,图,图书馆,44%,35ZB,2000年,数,数字信,息,息占全,球,球数据,量,量的25%75%都在报,纸,纸 胶,片,片 磁,带,带等媒,介,介,2013年,数,数字信,息,息98%非数字,信,信息2%,Big Data,什么是大数据,商业数,据,据现状,Twitter,2007年5000条微博,更,更新/天,2008年30万条微,博,博更新/天,2009年250万条微,博,博更新/天,2010年3500万条微,博,博更新/天,2011年2亿条微,博,博更新/天,2013年4亿条微,博,博更新/天,2013年 上,传,传时长12年的视,频,频/天,2013年,用,用户分,享,享25亿条信,息,息/天,我国一,个,个一线,城,城市的,健,健康档,案,案数据5PB,/,/年,我国一,个,个智慧,城,城市的,数,数据800PB,/,/年,一个单,数,数据表,几,几亿-几百亿,条,条记录,下线商,品,品14亿件，,在,在线商,品,品8亿件,淘宝数,据,据库存,了,了20PB数据,平均每,月,月增加1.5PB,智能移,动,动终端,设,设备的,巨,巨量增,长,长,Big Data,什么是大数据,Velocity高速,6000万用户,登,登录/天,20亿次,页,页面访,问,问/天,每天1.2亿次网,站,站访问,响,响应,时,时间小,于,于100毫秒,大数据,的,的惊人,不,不止是,在,在数量,上,上，同,时,时数据,还,还是巨,量,量具有,动,动态分,析,析价值,的,的数据,。,。,访问响,应,应时间,的,的加快,，,，数据,库,库读写,速,速度的,加,加快，,对,对电商,企,企业来,说,说就等,于,于多成,交,交。,对于很,多,多情况,下,下，动,态,态的数,据,据价值,远,远大于,静,静态数,据,据，比,如,如气象,预,预测，,灾,灾难预,测,测，快,消,消行业,等,等。,由于输,入,入速度,加,加快，,所,所以要,求,求输出,速,速度也,要,要加快,Big Data,什么是大数据,Variety多样,数据：,结构化数据,半结构化数据,非结构化数据,指关系,型,型数据,表,表,指关系,结,结构与,内,内容混,合,合在一,起,起的数,据,据类型,文档、,视,视频、,音,音频、,图,图片,20%结构化80非结构,化,化,企业数,据,据,2012年互联,网,网产生,的,的数据,25%结构化75非结构,化,化,50%,-,-70,%,%源于人,与,与人的,互,互动,Big Data,什么是大数据,Veracity准确,大数据,的,的核心,思,思想之,一,一,准确源,自,自于对,全,全部数,据,据的处,理,理分析,基础数,据,据的真,实,实准确,性,性，才,能,能保证,结,结果的,有,有效性,。,。,Big Data,什么是大数据,大数据VS云计算,两者都,是,是生产,方,方式改,变,变为主,，,，生产,资,资料改,变,变为辅,，,，提高,生,生产效,率,率。,云计算,是,是将计,算,算和存,储,储，由,本,本地转,移,移到了,云,云端。,大数据,则,则是提,供,供了一,套,套新的,计,计算和,存,存储工,作,作原理,。,。,二者有,本,本质的,不,不同，,但,但却是,一,一个完,整,整的体,系,系。大,数,数据可,以,以是云,计,计算的,心,心脏，,云,云计算,是,是大数,据,据服务,的,的通路,。,。,Big Data,什么是大数据,大数据VS物联网,物联网,是,是大数,据,据的流,程,程中的,第,第一层,采集层,物联网,网,网关以,上,上就进,入,入了大,数,数据工,作,作范畴,。,。,局部域,内,内的物,联,联网应,用,用解决,方,方案等,同,同于这,个,个域内,的,的大数,据,据系统,大数据,原,原理和,构,构成,大数据,的,的核心,工,工作思,路,路,大数据,系,系统颠,覆,覆了传,统,统数据,中,中心的,工,工作逻,辑,辑,传统数,据,据系统,工,工作逻,辑,辑：,运算系,统,统调动,数,数据库,的,的数据,，,，数据,的,的移动,。,。,大数据,系,系统工,作,作逻辑,：,：,运算系,统,统直接,部,部署至,数,数据处,，,，数据,仅,仅架构,内,内移动,。,。,Big Data,大数据原理和构成,Big Data,大数据原理和构成,传统数,据,据系统,工,工作原,理,理,客户,客户,客户,客户,客户,客户,互联网,路由器,访问请,求,求,负载均,衡,衡,服务器,集,集群,DB,DB,DB,DB,数据库,集,集群,数据调,用,用请求,数据移,动,动,结果反,馈,馈,Big Data,大数据原理和构成,Hadoop软件框,架,架,大数据,系,系统核,心,心组件,Mapreduce,HBase,HDFS,Hadoop核心子,项,项目,Big Data,大数据原理和构成,Hadoop系统工,作,作原理,Big Data,大数据原理和构成,Hadoop系统构,架,架,Big Data,大数据原理和构成,存储与,数,数据库,的,的比较,传统数,据,据中心,Hadoop,JOBDRAID,存储系,统,统,HDFS,容错性,扩展性,某已分,配,配任务,出,出错，,该,该计算,必,必须重,新,新执行,节点灵,活,活调整,节点相,对,对固定,，,，扩展,时,时会造,成,成无法,访,访问,在任务,执,执行中,任,任何时,候,候可任,意,意添加,节,节点,SQL,NoSQL,数据类,型,型,平行计,算,算系统,MapReduce,RAID出现坏,盘,盘后，,重,重建阵,列,列需要,十,十多个,小,小时，,这,这在大,数,数据时,代,代是无,法,法接受,的,的,Big Data,大数据原理和构成,SAPHANA,Hadoop的升级,内存计,算,算技术,真正的,海,海量数,据,据瞬间,分,分析,内存数,据,据库,实现任,何,何地点,、,、任何,时,时候、,可,可以查,看,看实时,的,的动态,数,数据，,任,任何时,候,候都可,以,以知道,正,正在发,生,生着什,么,么。并,且,且做出,应,应对。,利用高,性,性能的,大,大数据,一,一体机,服,服务器,，,，将数,据,据库直,接,接植入,大,大容量,内,内存中,进,进行实,时,时处理,。,。,Hadoop,MapreduceHDFS,HBase,Big Data,大数据原理和构成,大数据,的,的硬件,32颗处理,器,器、每,颗,颗处理,器,器12核=384核X 96个线程,32TB的内存,很,很,多,多中型,企,企业的,数,数据库,也,也只不,过,过几TB.,可以完,美,美运行,内,内存计,算,算数据,库,库,大数据,一,一体机,服务器+存储+网络=,融合基,础,础架构,SeaMicroSM15000,64颗处理,器,器、每,颗,颗处理,器,器8核=512核心,4TB的内存5PB本地存,储,储,10U的空间,万兆以,太,太网,Systemx3650M4,机架式2U,2颗处理,器,器8核心,内存最,大,大768GB,本地存,储,储9TB,2.6万,换算成10U的空间,80核心,大数据,的,的软件,数据存,储,储管理,数据处,理,理,数据分,析,析,Hadoop数据库,软,软件,Big Data,大数据原理和构成,提取,转,转换,归,归类,可视化BI商业智,能,能,大数据,的,的核心,价,价值,高附加,值,值阶段,大数据,应,应用,Big Data,大数据应用,大数据,应,应用的,意,意义,巨量数,据,据的产,生,生,对所有,复,复杂数,据,据格式,的,的归类,管,管理分,析,析,20%结构化,数,数据的,分,分析利,用,用80%非结构,化,化的没,有,有发挥,作,作用，,商,商业洞,察,察力的,资,资源浪,费,费。,找出最,优,优解决,方,方案,应用的,核,核心,大数据,分,分析,Big Data,大数据应用,数据质,量,量和数,据,据管理,可视化,分,分析,语义引,擎,擎,数据挖,掘,掘算法,预测性,分,分析能,力,力,大数据,应,应用的,分,分析方,法,法,高质量,的,的数据,处,处理和,管,管理是,输,输出高,质,质量结,果,果的前,提,提,深入数,据,据内部,，,，用机,器,器去做,人,人工做,不,不到的,数,数据价,值,值发现,从非结,构,构化数,据,据中提,取,取信息,的,的方式,展示数,据,据分析,结,结果，,供,供使用,者,者决策,根据可,视,视化和,数,数据挖,掘,掘的结,果,果做出,预,预测,Big Data,大数据应用,大数据,应,应用的,分,分析逻,辑,辑,Descriptive,Predictive,Prescriptive,发生了,什,什么？,为,为什么?,还会发,生,生什么?,还会发,生,生什么,？,？，如,果,果发生,了,了，如,何,何应对,？,？,Big Data,大数据应用,大数据,应,应用的,假,假想一,给某总,办,办公室,、,、汽车,、,、家里,装,装上烟,感,感。,发现某,总,总在办,公,公室的,抽,抽烟数,量,量最大,，,，在车,里,里和在,家,家基本,不,不抽。,那么