大数据的发展与应用课件

,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,*,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,*,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,*,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,*,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,*,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,*,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,*,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,*,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,*,大数据的发展和应用,互联网的产生和发展,1,目 录,大数据的概念,大数据的特点,2,1,大数据的产生,3,大数据的应用,4,大数据的基本概念,国务院,促进大数据发展行动纲要,大数据是,以,容量大、类型多、存取速度快、应用价值高,为主要特征的,数据集合,，正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析，从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态。,大数据的基本概念,重要意义,大数据成为推动经济转型发展的新动力,大数据持续激发商业模式创新，不断催生新业态，已成为互联网等新兴领域促进业务创新增值、提升企业核心价值的重要驱动力,大数据成为重塑国家竞争优势的新机遇,发掘和释放数据资源的潜在价值，有利于更好发挥数据资源的战略作用,大数据成为提升政府治理能力的新途径,建立“用数据说话、用数据决策、用数据管理、用数据创新”的管理机制,大数据的基本概念,维基百科的定义,大数据是指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的,数据集,大数据的基本概念,IDC(International Data Corporation),的定义,大数据一般会涉及,2,种或,2,种以上,数据形式,。它要收集超过,100TB,的数据，并且是高速、实时数据流,;,或者是从小数据开始，但数据每年会增长,60%,以上,大数据的基本概念,Gartner,的定义,大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的,信息资产,大数据的特点,规模性（,Volume,）,根据,IDC,的定义至少要有超过,100TB,的可供分析的数据，数据量大是大数据的基本属性,谷歌的自动驾驶汽车，为了对周围环境作出预测，每秒钟要收集差不多,1GB,的数据,未来趋势：智能化汽车,大数据的特点,著名咨询公司,IDC,的统计,2011,年全球被创建和复制的数据总量为,1.8ZB,（,10,的,21,次方），其中,75%,来自于个人（主要是图片、视频和音乐），远远超过人类有史以来所有印刷材料的数据总量（,200PB,）,预测到,2020,年，全球数据量暴增,44,倍（相比,2009,年），总量会达到,35 ZB,。,大数据的特点,数据增长定律,图灵奖获得者,Jim Gray,提出数据增长的经验定律,网络环境下每,18,个月产生的数据量等于有史以来数据量之和,大数据的特点,著名咨询公司,IDC,的统计,Google,公司通过大规模集群和,MapReduce,软件，每月处理的数据量超过,400PB,百度,每天大约要处理几十,PB,数据,Facebook,注册用户超过,10,亿，每月上传的照片超过,10,亿张，每天生成,300TB,以上的日志数据,淘宝,网会员超过,3.7,亿，在线商品超过,11,亿类，每天交易数千万笔，产生约,20TB,数据。,大数据的特点,大数据的特点,著名咨询公司,IDC,的统计,传感网和物联网的蓬勃发展是大数据的又一推动力，各个城市的视频监控每时每刻都在采集巨量的流媒体数,劳斯莱斯公司对全世界数以万计的飞机引擎进行实时监控，每年传送,PB,数量级的数据。,大数据的特点,数据丰富，信息贫乏,组织,项目,数据规模,电信,通话清单,数十亿条,/,月,银行,业务数据,数千万条,/,月,股票,日线数据,数十万条,/,月,卷烟厂,生产数据,数百万条,/,月,超市,销售数据,数百万条,/,月,搜索引擎,网页,数百亿页,在线零售商,交易数据,数百万条,大数据的特点,多样性（,Variety,）,数据类型繁多，复杂多变是大数据的重要特性,以往的数据尽管数量庞大，但通常是事先定义好的结构化数据。结构化数据是将事物向便于人类和计算机存储、处理、查询的方向抽象的结果,数据都以表格的形式保存在数据库中,大数据的特点,多样性（,Variety,）,大数据时代半结构化、非结构化数据逐渐成为主流数据。非结构化数据量已占到数据总量的,75%,以上，且非结构化数据的增长速度比结构化数据快,10,倍到,50,倍。,数据类型层出不穷，已经很难用一种或几种规定的模式来表征日趋复杂、多样的数据形式,视频、音频、图片、邮件、,HTML,、,RFID,、,GPS,和传感器,Web,数据挖掘面临的难题,Web,上半结构化数据特点,Web,页面的结构是页面自描述的,在页面里数据与结构混合存在,结构经常动态变化,大数据多样性带来的问题,Web,数据挖掘面临的难题,Web,数据挖掘面临的难题,Web,数据挖掘面临的难题,大数据的特点,高速性（,Velocity,）,要求数据的快速处理，是大数据区别于传统海量数据处理的重要特性之一,不断激增的数据不但不能为解决问题带来优势，反而成了快速解决问题的负担,数据不是静止不动的，而是在互联网络中不断流动，且通常这样的数据价值是随着时间的推移而迅速降低的，,如果数据尚未得到有效的处理，就失去了价值，大量的数据就没有意义,大数据的特点,价值性（,Value,）,大数据的价值往往呈现出稀疏性的特点,数据价值密度低是大数据关注的非结构化数据的重要属性,视频监控，大量的图像数据被存储下来，对于某一特定的应用，比如获取犯罪嫌疑人的体貌特征，有效的视频数据可能仅仅有,1-2,秒,大数据的产生,数据产生方式的变革,人类社会的数据产生方式经历了个阶段，而正是数据产生方式的巨大变化才最终导致大数据的产生,运营式系统阶段,用户原创内容阶段,感知式系统阶段,大数据的产生,运营式系统阶段,数据库出现使得数据管理的复杂度大大降低,超市的销售记录系统,银行的交易记录系统,医院病人的医疗记录,主要特点是数据伴随运营活动产生并记录在数据库中,比如淘宝每销售出一件产品就会在数据库中产生相应的一条销售记录,大数据的产生,用户原创内容阶段,互联网促使人类社会数据量出现第次飞跃，但是真正的数据爆发产生于,Web2.0,时代，,Web2.0,的最重要标志就是用户原创内容,主要原因,以博客、微博和微信等为代表的新型社交网络的出现和快速发展,以智能手机、平板电脑为代表的新型移动设备的出现，使得人们在网上发表自己意见的途径更为便捷,大数据的产生,感知式系统阶段,人类社会数据量第次飞跃最终导致了大数据的产生，今天正处于这个阶段,飞跃的根本原因,感知式系统的广泛使用,制造极其微小的带有处理功能的传感器,设备对整个社会运转进行监控,设备会源源不断地产生新数据,空气钻井事故预警系统,空气钻井事故预警系统,空气钻井事故预警系统,传感器,空气管道,产生,800,万条数据,空气钻井事故预警系统,大数据在医疗行业的应用,临床决策支持系统,使用图像分析和识别技术,识别医疗影像数据,挖掘医疗文献数据建立医疗专家数据库,从而给医生提出诊疗建议,华西药房药品陈列建议,搜集了,11,万数据做关联规则分析,1,2,33,华西药房药品陈列建议,大数据在汽车制造公司的应用,大数据,预测,基于微博和百度指数的福特汽车销量预测,背景,来源,大数据在汽车制造公司的应用,大数据在汽车制造公司的应用,大数据在汽车制造公司的应用,大数据在汽车制造公司的应用,大数据在汽车制造公司的应用,大数据在商业银行的应用,精准营销,通过,聚类分析,，对客户进行划分，获得各个客户群不同的特征，从而对客户群进行针对性营销，或者面向特定细分客户群开发特定产品，从而提高产品销量,股票,基金,大数据在商业银行的应用,精准营销,西太平洋银行利用,社交媒体数据,对客户进行情感分析来实现精准营销,大数据在商业银行的应用,风险管理,孤立点分析,摩根大通在业务交易中引入信用卡和借记卡数据进行,诈骗检验,例如，从来没有信用卡取现行为，被阻止,中信银行借助大数据分析技术监控评估客户的行为，并对客户的信用,消费预警,例如，消费金额超过预期的预警,大数据在保险公司的应用,汽车保险,传统上保险公司只把车险客户做了简单分类,第一种是连续两年没有出车祸的,第二种过去一年没有出车祸,第三种过去一年出了一次车祸,第四种是过去一年出了两次及以上车祸的,不同类别客户保费有差异,大数据在保险公司的应用,汽车保险,大数据时代保险公司考虑更多因素,开车主要只是上下班，这条线路过去一年统计的事故率很低,车况（车的使用年限、车型）好，此车型车祸率较低,统计驾驶习惯，临时刹车少，超车少，与周围车保持了应有的车距，驾驶习惯好,最后结论,车型好，车况好，驾驶习惯好，常走的线路事故率低，过去一年也没有出过车祸，因此可以给予更大幅度的优惠折扣,大数据在保险公司的应用,客户流失预测,保留老客户的成本远低于获取新客户的成本,对所有客户进行一对一营销成本昂贵,客户流失预测出那些可能流失的客户，对这部分客户进行一对一营销，降低营销成本,大数据在保险公司的应用,客户流失预测,分类分析,的应用,决策树,大数据在保险公司的应用,客户流失预测,流失率,47.43%,保费,816.67,险种,B,、,S,险种,Y,1,2,3,4,5,流失率,59.78%,流失率,30.83%,流失率,18.73%,