大数据与管理

,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,#,单击此处编辑母版标题样式,大数据与管理,报告人：和 力,数据：数据是,记,记录下,来,来可以,被,被鉴别,的,的符号,，,，包括,文,文字、,图,图片、,视,视频和,声,声音等,。,。,岩画,MB,文字,GB,纸、印刷术,TB,互联网,PB,大数据,ZB,太字节,，,，记作TB，1TB,=,=1024GB；拍,字,字节，,记,记作PB，1PB=1024TB,；,；艾字,节,节，记,作,作EB,，,，1EB=1024PB；,泽,泽字节,，,，记作ZB，1ZB,=,=1024EB。,目录,大数据的发展,1,大数据的定义和特征,2,案例分享,3,大数据时代的机遇和挑战,4,大航海,时,时代，,早,早期由,于,于对潮,汐,汐、风和洋流等,知,知识的,缺,缺乏，,远,远洋航,海,海不仅,效,效率低,下,下，而,且,且充满,危,危险。,大数据,的,的前世,今,今生,马,修,方丹,莫里曾是一名优秀的美国海军军官，在一次偶然的事故后被迫退役。随后，他与,20,个志同道合的数据处理者一起，整理了所有旧航海图上的信息，并绘制了一张拥有,120,万数据点的航海图。,通过,分析这些数据，莫里知道了一些良好的天然航线，这些航线上的风向和洋流都非常利于航行。他所绘制的,图表使航海,路程,减少，也变得更安全。,莫里航,海,海图，,最,最早的,大,大数据,实,实践,UPS的司机一般每,天,天要送120至175次货。,在,在任何,两,两个目,的,的地之,间,间，都,可,可以选,择,择多条,路,路线。,显,显然，,司,司机和UPS想要找,到,到其中,最,最有效,率,率的那,条,条。,大数据,的,的前世,今,今生,UPS行车路,线,线选择,因此,UPS,利用,大数据分析打造了一个名为,Orion,的道路优化与导航集成系统，可以在约,3,秒内找出最佳路线。,2011,年,，,UPS,的驾驶员少跑了,5000,万公里的路，节省了,300,万加仑,燃料，少排放,了,3,万,立方公吨的二氧化碳。,大数据,的,的发展,背,背景,2001年,Gartner研究,指,指出，,现,现代信,息,息社会,的,的信息,爆,爆炸已,经,经演变,成,成了数,据,据爆炸,。,。,2008年,2011年,Nature杂,志,志出版,专,专刊“BigData”,，,，分析,了,了大量,快,快速涌,现,现数据,给,给数据,分,分析处,理,理带来,的,的巨大,挑,挑战。,Science,推,推出关,于,于数据,处,处理的,专,专刊“Dealing withdata”,，,，讨论,了,了数据,洪,洪流（Data Deluge）,所,所带来,的,的挑战,。,。,5月麦,肯,肯锡全,球,球研究,院,院发布,了,了大,数,数据：,创,创新、,竞,竞争和,生,生产力,的,的下一,个,个领域,研究,报,报告。,2012年,3月奥,巴,巴马总,统,统宣布,美,美国政,府,府投资,逾,逾2亿,美,美元启,动,动“大,数,数据研,究,究和发,展,展计划,（,（BDRDI,）,）”。,5月，联,合,合国发,表,表名为大数据,促,促发展,：,：挑战,与,与机遇的政务,白,白皮书。,大数据,的,的发展,背,背景,随着一,系,系列标,志,志性事,件,件的发,生,生和建,立,立，人,们,们越发,感,感觉到,大,大数据,时,时代的,力,力量。,因,因此2013年被许,多,多国外,媒,媒体和,专,专家称,为,为“大数,据,据元年,”,”。,Information,二十世纪中后期,Industry,十八世纪中叶,Data,2013,年,Agricultural,一万年前,大数据,的,的发展,背,背景,1、智能,终,终端的普及,2、网络,带,带宽的提升,3、电子商,务,务的狂,热,热,4、社交,网,网络流,行,行,5、位置,信,信息,6、云计算的,兴,兴起,7、物联网时,代,代的到,来,来,大数据,的,的发展,背,背景,大数据,的,的发展,背,背景,大数据的定义,麦肯锡,全,全球研,究,究院（2011）,对,对大数,据,据的定,义,义是从数据集,的,的大体,量,量入手的,：,：大数,据,据是指,那,那些规,模,模大到,传,传统的,数,数据库,软,软件工,具,具已经,无,无法采,集,集、存,储,储、管,理,理和分,析,析的数据集。,百度百,科,科对大数,据,据的定,义,义是:,大,大数,据,据(BigData),，,，或,称,称巨量,资,资料，指由于容量太,大,大和过,于,于复杂,，,，无法,在,在一定,时,时间内,用,用常规,软,软件对,其,其内容,进,进行抓,取,取、管,理,理、存,储,储、检,索,索、共,享,享、传,输,输和分,析,析的数据集。,维克托迈尔-,舍,舍恩伯,格,格（2012）,在,在大,数,数据时,代,代一,书,书中主,要,要从价值大的角度,来,来定义,大,大数据,，,，他认,为,为大数,据,据是当,今,今社会,所,所独有,的,的一种,新,新型的,能,能力：,以,以一种,前,前所未,有,有的方,式,式，通,过,过对海,量,量数据,进,进行分,析,析，获,得,得有巨大价,值,值的产,品,品和服,务,务，或深,刻,刻的洞,见,见。,大数据的特征,大数据,的,的4V,特,特点：Volume,、,、Velocity,、,、Variety、Value,数据体量巨大。,从,从TB,级,级别跃,升,升到PB级别,。,。,Volume 大量,存储量,据估计，2007年全球,存,存储了,大,大约300EB的数据,，,，而到2013年，已,达,达1.8ZB，据估,计,计到2020年，世,界,界上存,储,储的数,据,据预计,能,能达到35ZB之多，,相,相当于,数,数千亿,个,个大型,图,图书馆,存,存储的,数,数据。,太字节,，,，记作TB，1TB,=,=1024GB；拍,字,字节，,记,记作PB，1PB=1024TB,；,；艾字,节,节，记,作,作EB,，,，1EB=1024PB；,泽,泽字节,，,，记作ZB，1ZB,=,=1024EB。,。,。,大数据的特征,大数据,的,的4V,特,特点：Volume,、,、Velocity,、,、Variety、Value,数据体量巨大。,从,从TB,级,级别跃,升,升到PB级别,。,。,Volume 大量,存储量,+,计算量,广州超,算,算中心,16000个,运,运算节,点,点,312,万,万个计,算,算核心,整体总,计,计内存1.408PB,12.4PB,的,的硬盘,阵,阵列,大数据的特征,大数据,的,的4V,特,特点：Volume,、,、Velocity,、,、Variety、Value,数据体量巨大。,从,从TB,级,级别跃,升,升到PB级别,。,。,Volume 大量,Velocity 高速,处理速度快。1,秒,秒定律,。,。,这一点,也,也是和,传,传统的,数,数据挖,掘,掘技术,有,有着本,质,质的不,同,同。,数据更,新,新、增,长,长速度,快,快,Facebook上,每,每秒有4.1,万,万张照,片,片上传,，,，淘宝,每,每秒有,数,数万笔,交,交易。,+,数据存,储,储、传,输,输等处,理,理速度,快,快,大数据的特征,大数据,的,的4V,特,特点：Volume,、,、Velocity,、,、Variety、Value,数据体量巨大。,从,从TB,级,级别跃,升,升到PB级别,。,。,Volume 大量,Velocity 高速,处理速度快。1,秒,秒定律,。,。,这一点,也,也是和,传,传统的,数,数据挖,掘,掘技术,有,有着本,质,质的不,同,同。,Variety 多样,数据类型繁多。,不,不仅包,括,括传统,的,的关系,数,数据类,型,型，也,包,包括以,网,网页、,音,音视频,、,、文档,等,等形式,存,存在的,未,未加工,的,的、半,结,结构化,和,和非结,构,构化的,数,数据。,大数据的特征,大数据,的,的4V,特,特点：Volume,、,、Velocity,、,、Variety、Value,数据体量巨大。,从,从TB,级,级别跃,升,升到PB级别,。,。,Volume 大量,Velocity 高速,处理速度快。1,秒,秒定律,。,。,这一点,也,也是和,传,传统的,数,数据挖,掘,掘技术,有,有着本,质,质的不,同,同。,Variety 多样,数据类型繁多。,不,不仅包,括,括传统,的,的关系,数,数据类,型,型，也,包,包括以,网,网页、,音,音视频,、,、文档,等,等形式,存,存在的,未,未加工,的,的、半,结,结构化,和,和非结,构,构化的,数,数据。,Value 价值,价值密,度,度低。但庞,大,大的数,据,据中蕴,含,含着新知,识,识，以,及,及极其,重,重要的,预,预测价,值,值。,大数据平,台,台框架,管理模,式,式的变,迁,迁,决策、,预,预策,业务数据,市场、金融、政策等等,业务数,据,据,市场、,金,金融、,政,政策等,等,等,报表等,决策、,预,预策,业务数,据,据,信息、,预,预策,大数据系统,决策,市场、,金,金融、,政,政策等,等,等,LOGO,案例,谷,谷歌流,感,感趋势,项,项目,传统的,流,流感预,报,报会滞,后,后大约,两,两周的,时,时间，,这,这种滞,后,后往往,会,会导致,严,严重的,后,后果。,谷歌发,现,现，某,些,些搜索,字,字词可,以,以很好,地,地标示,流,流感疫,情,情的现,状,状。Google,流,流感趋,势,势使用,了,了经过,汇,汇总的Google 搜,索,索数据,库,库来测,流,流感疫,情,情。,案例,谷,谷歌流,感,感趋势,项,项目,2009年，H1N1病毒肆,虐,虐全球,，,，谷歌,的,的“全,球,球流感,地,地图”,成,成功派,上,上用场,，,，准确,预,预测出,患,患病高,发,发地区,，,，有效,地,地指导,人,人们进,行,行预防,。,。,案例,大,大数据在,政,政务领域的,应,应用,大数据的,发,发展，,将,将极大,地,地改变,政,政府的,管,管理模,式,式，有,利,利于节,约,约政府,投,投资、,加,加强市,场,场监管,能,能力、,提,提高政,府,府决策,能,能力、,提,提升公,共,共服务,能,能力，,实,实现区,域,域化管,理,理。,2013年10月，济,南,南电子,政,政务数,据,据交换,平,平台正,式,式启用,。,。该平,台,台基于,云,云计算,理,理念，,成,成功将,工,工商、,国,国税、,质,质检、,公,公安、,社,社保等20多个部,门,门数据,共,共享。,国,国税局,与,与地税,局,局通过,数,数据比,对,对，发,现,现了25000条数据,差,差异，,落,落实纳,税,税企业5000多户，,补,补缴税,款,款2700多万元,。,。,推广：如将我国,城,城镇居,民,民医疗,数,数据与,保,保险数,据,据对比,分,分析可,以,以优化,保,保险企,业,业报销,比,比例，,发,发现虚,假,假报销,行,行为；,与,与制药,厂,厂数据,比,比对分,析,析可以,调,调节药,品,品的生,产,产量与,销,销售渠,道,道。但,医,医疗政,策,策信息,并,并不能,发,发挥这,样,样的作,用,用。,案例政治,选,选举,在2012年 奥,巴,巴马的,竞,竞选团,队,队对数,以,以千万,计,计的选,民,民邮件,进,进行数,据,据挖掘,，,，精确,预,预测出,更,更拥护,奥,奥巴马,的,的选民,类,类型，,并,并进行,了,了有针,对,对性的,宣,宣传，,从,从而帮,助,助奥巴,马,马成为,了,了美国,历,历史上,唯,唯一一,位,位在竞,选,选经费,处,处于劣,势,势下实,现,现连任,的,的总统,。,。,案例爸爸去哪儿大数据,解,解读,新华社,新,新媒体,中,中心联,合,合数托,邦,邦创意,分,分析工,作,作室抓,取,取了新,浪,浪微,博,博上提,及,及“爸,爸,爸去哪,儿,儿”45.5万条原,创,创微博,，,，并对36.7万独立,