大数据、云计算与移动应用

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,#,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,INTEL CONFIDENTIAL,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,INTEL CONFIDENTIAL,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,#,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,INTEL CONFIDENTIAL,FOR INTERNAL USE ONLY,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,INTEL CONFIDENTIAL,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,INTEL CONFIDENTIAL,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,#,INTEL CONFIDENTIAL,FOR INTERNAL USE ONLY,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,INTEL CONFIDENTIAL,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,INTEL CONFIDENTIAL,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,#,大数据、云计算,与移动应用,第1讲大数据,现,现象与机遇,BigData,&,&Cloud Computing,2,大数据,现,现象与,挑,挑战,3,大数据,成,成为全,球,球新热,点,点,数据来,源,源：百,度,度搜索,量,量统计,大数据,现,现象,大数据,产,产生原,因,因,来自,“,大人群,”,泛互联网数据,来自大量传感器的机器数据,行业内容数据多结构专业数据,全球每,秒,秒钟发,送,送,2.9百万,封电子邮,件,件，一,分,分钟读,一,一篇的,话,话，足,够,够一个,人,人昼夜,不,不息的,读,读5.5年,每天会,有,有,2.88万,个小时的视频,上,上传到Youtube，足够,一,一个人,昼,昼夜不,息,息的观,看,看3.3年,推特上,每,每天发,布,布,5千万,条消息，,假,假设10秒钟浏,览,览一条,信,信息，,这,这些消,息,息足够,一,一个人,昼,昼夜不,息,息的浏,览,览16年,每天亚,马,马逊上,将,将产生,6.3百万,笔订单,每个月,网,网民在Facebook上要花,费,费,7千亿,分钟，被移,动,动互联,网,网使用,者,者发送,和,和接收,的,的数据,高,高达,1.3EB,Google上每天,需,需要处,理,理,24PB,的数据,在web2.0的时代,，,，人们,从,从信息,的,的被动,接,接受者,变,变成了,主,主动创,造,造者,BigData时代到,来,来,Web2.0时代,新摩尔,定,定律,全球数,据,据总量,每,每18个月翻,番,番。,大数据,已,已经成,为,为一种,自,自然资,源,源,大数据,不,不被利,用,用就是,成,成本,未来增,长,长不可,限,限量,来源：IDC数字宇,宙,宙研究,报,报告，2011.11,据IDC预测，,未,未来10年全球,数,数据量,将,将以40+,%,%的速度,增,增长，2020年全球,数,数据量,将,将达到35ZB（35,000,000PB），为2009年（0.8ZB）的44倍,数据利,用,用比例,直,直降,计算速,度,度越来,越,越快，,企,企业却,越,越来越,笨,笨。,今天很,多,多企业,能,能弄懂7%的企业,数,数据，,但,但这个,数,数字很,快,快会下,降,降到4%，然后,继,继续螺,旋,旋式下,降,降。,IBM实体分,析,析首席,科,科学家Jeff Jonas,数据使,用,用率提,升,升10%的影响,预测2020年，大,数,数据应,用,用市场规,模,模将达,到,到近2600亿美元,公共管理,医疗,制造,位置服务,零售,大数据,市场前景,对欧洲的公共管理部门来说，大数据每年有,2500,亿欧元的潜在价值,-,比希腊的,GDP,还高,对美国医疗行业来说，大数据每年拥有,3000,亿美元的潜在价值,生产商可以利用大数据使产品研发、组装成本削减,50%,，人力成本削减,7%,利用全球的个人位置信息，每年可以取得,6000,亿美元的消费者价值,零售商可以利用大数据使经营利润取得,60%,的增长,大数据,成,成为全,球,球新的,经,经济增,长,长点,各国政,府,府高度,重,重视,美国：奥巴马,政,政府3.29宣布“BigDataResearchandDevelopmentInitiative”,将投入,超,超过2亿美元,推,推动大,数,数据提,取,取、存,储,储、分,析,析、共,享,享、可,视,视化等,领,领域的,研,研究，,并,并将其,与,与历史,上,上对超级计,算,算和互,联,联网的投资,相,相提并,论,论,中国：工信部物联网,十,十二五,规,规划,信息处,理,理技术,作,作为4,项,项关,键,键技术,创,创新工,程,程之一,被,被提出,包括海,量,量数据,存,存储、,数,数据挖,掘,掘等,IT盛宴,1.,Volume,2.,Variety,3.value,4.,Velocity,结构化数据,、半结构化数据,和非结构化数据,如今的数据类型早已不是单一的文本形式,，订单、日,志、音频,，,能力提出了更高的要求,沙里淘金，价值密度低,以视频为例，一部一小时的视频，在连续不间断监控过程中，可能有用的数据仅仅只有一两秒。如何通过强大的机器算法更迅速地完成数据的价值“提纯”是目前大数据汹涌背景下亟待解决的难题,实时获取需要的信息,大数据区分于传统数据最显著的特征。,如今已是,ZB,时代，,在如此海量的数据面前，处理数据的效率就是企业的生命,大数据,是,是指无,法,法在一,定,定时间,内,内用传,统,统数据,库,库软件,工,工具对,其,其内容,进,进行抓,取,取、管,理,理和处,理,理的数,据,据集合,什么是BigData,数据量,巨,巨大,全球在2010年正式,进,进入ZB时代，IDC预计到2020年，全,球,球将总,共,共拥有35ZB的数据,量,量,大数据,的,的4V特征,大数据=海量数,据,据+复杂类,型,型的数,据,据,海量交,易,易数据,：,：,企业内,部,部的经,营,营交易,信,信息主,要,要包括,联,联机交,易,易数据,和,和联机,分,分析数,据,据，是,结,结构化,的,的、通,过,过关系,数,数据库,进,进行管,理,理和访,问,问的静,态,态、历,史,史数据,。,。通过,这,这些数,据,据，我,们,们能了,解,解过去,发,发生了,什,什么。,大数据,包,包括：,交易数,据,据和交,互,互数据,集,集在内,的,的所有,数,数据集,海量交,互,互数据,：,：,源于Facebook、Twitter、LinkedIn及其他,来,来源的,社,社交媒,体,体数据,构,构成。,它,它包括,了,了呼叫,详,详细记,录,录CDR、设备,和,和传感,器,器信息,、,、GPS和地理,定,定位映,射,射数据,、,、通过,管,管理文,件,件传输ManageFileTransfer协议传,送,送的海,量,量图像,文,文件、Web文本和,点,点击流,数,数据、,科,科学信,息,息、电,子,子邮件,等,等等。,可,可以告,诉,诉我们,未,未来会,发,发生什,么,么。,海量数,据,据处理,：,：,大数据,的,的涌现,已,已经催,生,生出了,设,设计用,于,于数据,密,密集型,处,处理的,架,架构。,例,例如具,有,有开放,源,源码、