大数据与管理13909

,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,#,单击此处编辑母版标题样式,大数据与管理,报告人：和 力,数据：,数据是记录下来可以被鉴别的符号，包括文字、图片、视频和声音等。,岩画,MB,文字,GB,纸、印刷术,TB,互联网,PB,大数据,ZB,太字节，记作TB，1TB=1024GB；拍字节，记作PB，1PB=1024TB；艾字节，记作EB，1EB=1024PB；泽字节，记作ZB，1ZB=1024EB。,目录,大数据的发展,1,大数据的定义和特征,2,案例分享,3,大数据时代的机遇和挑战,4,大航海时代，早期由于对潮汐,、风和,洋流等知识的缺乏，远洋航海不仅效率低下，而且充满危险。,大数据的前世今生,马,修,方丹,莫里曾是一名优秀的美国海军军官，在一次偶然的事故后被迫退役。随后，他与,20,个志同道合的数据处理者一起，整理了所有旧航海图上的信息，并绘制了一张拥有,120,万数据点的航海图。,通过,分析这些数据，莫里知道了一些良好的天然航线，这些航线上的风向和洋流都非常利于航行。他所绘制的,图表使航海,路程,减少，也变得更安全。,莫里航海图，最早的大数据实践,UPS,的司机,一般每天要送,120,至,175,次货。在任何两个目的地之间，都可以选择多条路线。显然，司机和,UPS,想要找到其中最有效率的那条,。,大数据的前世今生,UPS,行车路线选择,因此,UPS,利用,大数据分析打造了一个名为,Orion,的道路优化与导航集成系统，可以在约,3,秒内找出最佳路线。,2011,年,，,UPS,的驾驶员少跑了,5000,万公里的路，节省了,300,万加仑,燃料，少排放,了,3,万,立方公吨的二氧化碳。,大数据的发展背景,2001年,Gartner研究指出，现代信息社会的信息爆炸已经演变成了数据爆炸。,2008年,2011年,Nature杂志出版专刊“Big Data”，分析了大量快速涌现数据给数据分析处理带来的巨大挑战。,Science推出关于数据处理的专刊“Dealing with data”，讨论了数据洪流（Data Deluge）所带来的挑战。,5月麦肯锡全球研究院发布了大数据：创新、竞争和生产力的下一个领域研究报告。,2012年,3月奥巴马总统宣布美国政府投资逾2亿美元启动“大数据研究和发展计划（BDRDI）”。,5,月，联合国发表名为,大数据促发展：挑战与机遇,的政务白皮书,。,大数据的发展背景,随着一系列标志性事件的发生和建立，人们越发感觉到大数据时代的力量。因此,2013,年被许多国外媒体和专家称为,“大数据元年”。,Information,二十世纪中后期,Industry,十八世纪中叶,Data,2013,年,Agricultural,一万年前,大数据的发展背景,1,、智能终端的,普及,2,、网络带宽的,提升,3,、,电子商务的狂热,4,、社交网络流行,5,、位置信息,6,、,云,计算的兴起,7,、,物,联网时代的到来,大数据的发展背景,大数据的发展背景,大数据,的定义,麦肯锡全球研究院,（2011）对大数据的定义是从,数据集的大体量,入手的：大数据是指那些规模大到传统的数据库软件工具已经无法采集、存储、管理和分析的,数据集,。,百度百科,对大数据的定义是:大数据(Big Data)，或称巨量资料，,指,由于,容量太大和过于复杂，无法在一定时间内用常规软件对其内容进行抓取、管理、存储、检索、共享、传输和分析的,数据集,。,维克托,迈尔-舍恩伯格,（2012）在大数据时代一书中主要从,价值大,的角度来定义大数据，他认为大数据是当今社会所独有的一种新型的能力：以一种前所未有的方式，通过对海量数据进行分析，获得有,巨大价值的产品和服务,，或深刻的洞见。,大数据,的特征,大数据的4V特点：Volume、Velocity、Variety、Value,数据,体量,巨大。从TB级别跃升到PB级别。,Volume 大量,存储量,据,估计，,2007,年全球存储了大约,300EB,的数据，而到,2013,年，已达,1.8ZB,，据估计到,2020,年，世界上存储的数据预计能达到,35ZB,之多，相当于数千亿个大型图书馆存储的数据。,太字节，记作TB，1TB=1024GB；拍字节，记作PB，1PB=1024TB；艾字节，记作EB，1EB=1024PB；泽字节，记作ZB，1ZB=1024EB。,大数据,的特征,大数据的4V特点：Volume、Velocity、Variety、Value,数据,体量,巨大。从TB级别跃升到PB级别。,Volume 大量,存储量,+,计算量,广州超算中心,16000个运算节点,312万个计算核心,整体总计内存1.408PB,12.4PB的硬盘阵列,大数据,的特征,大数据的4V特点：Volume、Velocity、Variety、Value,数据,体量,巨大。从TB级别跃升到PB级别。,Volume 大量,Velocity 高速,处理,速度,快。1秒定律。,这一点也是和传统的数据挖掘技术有着本质的不同。,数据更新、增长速度快,Facebook上每秒有4.1万张照片上传，淘宝每秒有数万笔交易。,+,数据存储、传输等处理速度快,大数据,的特征,大数据的4V特点：Volume、Velocity、Variety、Value,数据,体量,巨大。从TB级别跃升到PB级别。,Volume 大量,Velocity 高速,处理,速度,快。1秒定律。,这一点也是和传统的数据挖掘技术有着本质的不同。,Variety 多样,数据,类型,繁多。不仅包括传统的关系数据类型，也包括以网页、音视频、文档等形式存在的未加工的、半结构化和非结构化的数据。,大数据,的特征,大数据的4V特点：Volume、Velocity、Variety、Value,数据,体量,巨大。从TB级别跃升到PB级别。,Volume 大量,Velocity 高速,处理,速度,快。1秒定律。,这一点也是和传统的数据挖掘技术有着本质的不同。,Variety 多样,数据,类型,繁多。不仅包括传统的关系数据类型，也包括以网页、音视频、文档等形式存在的未加工的、半结构化和非结构化的数据。,Value 价值,价值密度低,。但庞大的数据中蕴含,着新知识，以及极其重要的预测价值。,大,数据平台框架,管理模式的变迁,决策、预策,业务数据,市场、金融、政策等等,业务数据,市场、金融、政策等等,报表等,决策、预策,业务数据,信息、预策,大数据系统,决策,市场、金融、政策等等,LOGO,案例谷歌流感趋势项目,传统的流感预报会滞后大约两周的时间，这种滞后往往会导致严重的后果。,谷歌发现，某些搜索字词可以很好地标示流感疫情的现状。Google 流感趋势使用了经过汇总的 Google 搜索数据库来测流感疫情。,案例谷歌流感趋势项目,2009,年,，,H1N1,病毒肆虐全球，谷歌的“全球流感地图”成功派上用场，准确预测出患病高发地区，有效地指导人们进行预防。,案例大,数据在政务,领域的应用,大,数据的发展，将极大地改变政府的管理模式，有利于节约政府投资、加强市场监管能力、提高政府决策能力、提升公共服务能力，实现区域化管理。,2013,年,10,月，济南电子政务数据交换平台正式启用。该平台基于云计算理念，成功将工商、国税、质检、公安、社保等,20,多个部门数据共享。国税局与地税局通过数据比对，发现了,25000,条数据差异，落实纳税企业,5000,多户，补缴税款,2700,多万元。,推广：,如,将我国城镇居民医疗数据与保险数据对比分析可以优化保险企业报销比例，发现虚假报销行为；与制药厂数据比对分析可以调节药品的生产量与销售渠道。但医疗政策信息并不能发挥这样的作用。,案例,政治选举,在,2012,年 奥巴马的竞选团队对数以千万计的选民邮件进行数据挖掘，精确预测出更拥护奥巴马的选民类型，并进行了有针对性的宣传，从而帮助奥巴马成为了美国历史上唯一一位在竞选经费处于劣势下实现连任的总统。,案例,爸爸,去哪儿,大数据解读,新华社新媒体中心联合数托邦创意分析工作室抓取了新浪微 博上提及“爸爸去哪儿”,45.5,万条原创微博，并对,36.7,万独立原发作者用户（去除疑似水军账户）、,1300,余万条用户微博及近,1,亿的关系进行数据分析。,结果发现：,爸爸去哪儿,不仅成为名副其实的“口碑王”，还使娱乐节目发生了很多微妙变化。,案例,爸爸,去哪儿,大数据解读,粉丝性别比例：,“,爸爸粉”女性占到八成。难道是因为星爸太帅？当然，这与微博中女性用户占比较高和她们更爱分享转评的习惯也有关。,用户年龄分布：,覆盖适龄婚育群体，观众气质更显成熟。,不少适龄青年发微博称，“看到某某，我也好想结婚，想有个这样的儿子女儿。”,地区偏好排行：,爸爸去哪儿,的观众明显向,GDP,高地聚集。对湘派娱乐节目免疫力极强的京、沪、苏、蜀等地罕见上榜。,爸爸去哪儿,偏好度前十省份中，有个,GDP,十强省份，涵盖,3,个直辖市。这是否能说明，一部分“先富起来”的人，对亲子关系有更深的焦虑和更多的期待？,案例,爸爸,去哪儿,大数据解读,赞助商,潜在赞助商,明星,同类节目竞争者,节目组,观众,大数据解读可能的受益者,满足了自己“八卦”的需求。对这个节目有了深入的了解。,从,爸爸去哪儿,的成功中可以学到什么？,本次赞助是否成功？成功在哪里？为以后广告的投放提供了经验。,了解了自己及孩子在观众心中的“热度”，为下一步转型及孩子未来的规划提供参考。,根据之前的数据分析，大胆推出了低成本同名电影并大获成功！第二季的拍摄紧锣密鼓地进行着,为决策提供支持。若自己的目标客户与该节目的观众一致，可以考虑下一季的赞助。,案例纸牌,屋的创作,在,纸牌屋,是从,3000,万付费用户的数据中总结收视习惯、选择，仔细分析,400,万条评论、,300,万次主题搜索，并对用户喜好精准分析的基础上进行创作,的,。最终,，拍什么、谁来拍、谁来演、怎么播，都由数千万观众的客观喜好统计,决定，是用,大数据“算”出来的,电视剧。,案例大,数据在金融领域,的应用,大数据助力推进高频金融交易和小额信贷,高频交易,：目前美国股市每天的成交量高达,70,亿股，,通过对历史和实时数据的挖掘创新，以创造和,改进量化,交易模型，并将之应用于基于计算机模型的实时证券交易过程中。据统计其中高达三分之二的,交易都是,由建立在数学模型和算法之上的计算机程序自动完成的。,小额信贷,：截止,2013,年底阿里巴巴数据平台服务器上，已积攒超过,100PB,已处理的数据,，包括,交易、金融、,SNS,、地图、生活服务等多种数据类型,，,依托阿里电商平台强大的数据体系和平台支撑,阿里金融,开创了一种,“,纯,信用、无抵押、免,担保,”,的小额贷款模式，从而,给数十万小,微,企业，放贷,数百,亿,元，坏账率仅为,0.3%,左右，低于商业银行水平,。,案例,纽约沙井盖爆炸预测,在,每年,纽约有很多沙井盖因内部失火发生爆炸，后来相关部门对足够围绕地球三周半的地下电缆,和数万个沙井,盖的历史数据进行了处理，从数据中发现了大型沙井盖爆炸的,106,种预警情况，并成功预测出了高危沙井盖。这样，包含这些预警指标的预测模型就建立起来了，可用于对以后的沙井盖爆炸做出预测，帮助公司事前做出针对性的维修决策。,案例,CPI,预测,美国,劳工,统计局每个月,都要,公布,CPI,这些,数据对投资者和商家都非常重要,。政府,为了得到这些数据,，每年,大概需要花费两亿五千万美元。这些数据是精确的也是有序的，但是这个采集结果的公布会有几周的,滞后。,MIT,的,两位,经济学家通过,一个软件在互联网上收集信息，他们每天可以收集到,50,万种商品的价格,。通过把大,数据和好的分析法相结合，这个项目在,2008,年,9,月雷曼兄弟破产之后马上就发现了通货紧缩趋势，然而那些依赖官方数据的人直到,11,月份才知道这个情况。,案例,百度迁徙图,国内,有,2,亿手机用户使用百度地图，用户每次位置变化，百度都能得到数据。把手机网民的定位信息汇总