大数据云计算与移动应用

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,INTEL CONFIDENTIAL,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,INTEL CONFIDENTIAL,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,INTEL CONFIDENTIAL,FOR INTERNAL USE ONLY,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,INTEL CONFIDENTIAL,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,INTEL CONFIDENTIAL,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,INTEL CONFIDENTIAL,FOR INTERNAL USE ONLY,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,INTEL CONFIDENTIAL,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,INTEL CONFIDENTIAL,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,大数据、云计算,与移动应用,第,1,讲,大数据现象与,机遇,Big Data&Cloud Computing,2,大数据现象与挑战,3,大数据成为全球新热点,数据来源：百度搜索量统计,大数据现象,大数据产生原因,来自,“,大人群,”,泛互联网数据,来自大量传感器的机器数据,行业内容数据多结构专业数据,全球每秒钟发送,2.9,百万,封,电子邮件，一分钟读一篇的话，足够一个人昼夜不息的读,5.5,年,每天会有,2.88,万,个小时,的视频上传到,Youtube,，足够一个人昼夜不息的观看,3.3,年,推特上每天发布,5,千万,条,消息，假设,10,秒钟浏览一条信息，这些消息足够一个人昼夜不息的浏览,16,年,每天亚马逊上将产生,6.3,百万,笔,订单,每个月网民在,Facebook,上要花费,7,千亿,分钟,，被移动互联网使用者发送和接收的数据高达,1.3EB,Google,上每天需要处理,24PB,的数据,在,web 2.0,的时代，人们从信息的被动接受者变成了主动创造者,Big Data,时代到来,Web 2.0,时代,新摩尔定律,全球数据总量每,18,个月翻番。,大数据已经成为一种自然资源,大数据不被利用就是成本,未来增长不可限量,来源：,IDC,数字宇宙研究报告，,2011.11,据,IDC,预测，未来,10,年全球数据量将以,40+%,的速度增长，,2020,年全球数据量将达到,35ZB,（,35,000,000PB,），为,2009,年（,0.8ZB,）的,44,倍,数据利用比例直降,计算速度越来越快，企业却越来越笨。,今天很多企业能弄懂,7%,的企业数据，但这个数字很快会下降到,4%,，然后继续螺旋式下降。,IBM,实体分析首席科学家,Jeff Jonas,数据使,用,用率提,升,升,10%,的影响,预测,2020,年，大,数,数据应,用,用市场规,模,模将达,到,到近,2600,亿美元,公共管理,医疗,制造,位置服务,零售,大数据,市场前景,对欧洲的公共管理部门来说，大数据每年有,2500,亿欧元的潜在价值,-,比希腊的,GDP,还高,对美国医疗行业来说，大数据每年拥有,3000,亿美元的潜在价值,生产商可以利用大数据使产品研发、组装成本削减,50%,，人力成本削减,7%,利用全球的个人位置信息，每年可以取得,6000,亿美元的消费者价值,零售商可以利用大数据使经营利润取得,60%,的增长,大数据,成,成为全,球,球新的,经,经济增,长,长点,各国政,府,府高度,重,重视,美国：,奥巴马,政,政府,3.29,宣布“,BigDataResearchandDevelopmentInitiative”,将投入,超,超过,2,亿美元,推,推动大,数,数据提,取,取、存,储,储、分,析,析、共,享,享、可,视,视化等,领,领域的,研,研究，,并,并将其,与,与历史,上,上对,超级计,算,算和互,联,联网,的投资,相,相提并,论,论,中国：工信部,物联网,十,十二五,规,规划,信息处,理,理技术,作,作为4,项,项关,键,键技术,创,创新工,程,程之一,被,被提出,包括海,量,量数据,存,存储、,数,数据挖,掘,掘,等,IT,盛宴,1.,Volume,2.,Variety,3.value,4.,Velocity,结构化数据,、半结构化数据,和非结构化数据,如今的数据类型早已不是单一的文本形式,，订单、日,志、音频,，,能力提出了更高的要求,沙里淘金，价值密度低,以视频为例，一部一小时的视频，在连续不间断监控过程中，可能有用的数据仅仅只有一两秒。如何通过强大的机器算法更迅速地完成数据的价值“提纯”是目前大数据汹涌背景下亟待解决的难题,实时获取需要的信息,大数据区分于传统数据最显著的特征。,如今已是,ZB,时代，,在如此海量的数据面前，处理数据的效率就是企业的生命,大数据,是,是指无,法,法在一,定,定时间,内,内用传,统,统数据,库,库软件,工,工具对,其,其内容,进,进行抓,取,取、管,理,理和处,理,理的数,据,据集合,什么是,BigData,数据量,巨,巨大,全球在,2010,年正式,进,进入,ZB,时代，,IDC,预计到,2020,年，全,球,球将总,共,共拥有,35ZB,的数据,量,量,大数据,的,的,4V,特征,大数据,=,海量数,据,据,+,复杂类,型,型的数,据,据,海量交,易,易数据,：,：,企业内,部,部的经,营,营交易,信,信息主,要,要包括,联,联机交,易,易数据,和,和联机,分,分析数,据,据，是,结,结构化,的,的、通,过,过关系,数,数据库,进,进行管,理,理和访,问,问的静,态,态、历,史,史数据,。,。通过,这,这些数,据,据，我,们,们能了,解,解过去,发,发生了,什,什么。,大数据,包,包括：,交易数,据,据和交,互,互数据,集,集在内,的,的所有,数,数据集,海量交,互,互数据,：,：,源于,Facebook,、,Twitter,、,LinkedIn,及其他,来,来源的,社,社交媒,体,体数据,构,构成。,它,它包括,了,了呼叫,详,详细记,录,录,CDR,、设备和传,感,感器信息、,GPS,和地理定位,映,映射数据、,通,通过管理文,件,件传输,Manage File Transfer,协议传送的,海,海量图像文,件,件、,Web,文本和点击,流,流数据、科,学,学信息、电,子,子邮件等等,。,。可以告诉,我,我们未来会,发,发生什么。,海量数据处,理,理：,大数据的涌,现,现已经催生,出,出了设计用,于,于数据密集,型,型处理的架,构,构。例如具,有,有开放源码,、,、在商品硬,件,件群中运行,的,的,Apache Hadoop,。,大数据的构,成,成,大数据涉及,的,的关键技术,需求,技术描述,关键技术,海量数据分,布,布式处理,Hadoop,生态系统,针对大量数,据,据进行分布,式,式处理的系,统,统框架,实时数据处,理,理,StreamingData,流计算引擎,非结构化数,据,据处理,文本处理技,术,术；自然语,言,言理解；多媒体处理,技,技术,文本内容分,词,词与分析；,图,图像、音视,频,频分析,可视化交互,界,界面