大数据时代下的数据挖掘课件

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,大数据时代下的数据挖掘,大数据时代下的数据挖掘,随着计算机技术的革新和网络媒体的快速发展，人们的生活已经进入高速信息时代。每天的生活都要产生大量数据，获取数据的速度和规模不断增长，大量数据不断的被存入存储介质中形成海量数据。,海量数据的存储、应用及挖掘已成为研究的重要命题。,未来几年，随着大数据迅速发展，数据挖掘将是极为重要的成长领域，只要企业拥有分析价值的数据源，皆可用来进行高价值的数据挖掘分析。,随着计算机技术的革新和网络媒体的快速发展，人们的生活已经进入,本课程主要介绍大数据的概念及其在生活、工作和思维带来的改变，介绍大数据与其他技术的关系，尤其是数据挖掘方面，介绍数据挖掘技术的基本知识，主要应用场景，常用算法，以及数据挖掘过程。,本课程主要介绍大数据的概念及其在生活、工作和思维带来,学习目标,了解大数据的基本概念及其带来的在生活、工作和思维上的改变和准备。,了解大数据在各个行业的应用。,了解大数据时代下对数据挖掘技术的推动。,掌握数据挖掘技术的基本概念、常用算法，了解其在各个行业的应用。,学习目标了解大数据的基本概念及其带来的在生活、工作和思维上的,主要内容,01,大数据时代及其变革,02,大数据相关技术方法,03,大数据时代下的数据挖掘,04,应用案例,主要内容01大数据时代及其变革02大数据相关技术方法03大数,主要内容,大数据时代及其变革,大数据相关技术方法,大数据时代下的数据挖掘,主要内容大数据时代及其变革,大数据开启了一次重大的时代转型。就像望远镜让我们能够感受宇宙，显微镜让我们能够观测微生物一样，大数据正在改变我们的生活以及理解世界的方式，成为新发明和新服务的源泉，而更多的改变正蓄势待发,一场生活、工作与思维的大变革,大数据开启了一次重大的时代转型。就像望远镜让我们,一场生活、工作与思维的大变革,大数据，变革公共卫生,大数据，变革商业,大数据，变革思维,大数据，开启重大的时代转型,预测，大数据的核心,大数据，大挑战,一场生活、工作与思维的大变革大数据，变革公共卫生,1.,改革公共卫生,流感预测与谷歌搜索,2009,年，甲型,H1N1,疾病控制与预防中心,Nature,杂志的一篇论文,google,4.5,亿个数学模型,验证：,2007,年，,2008,年,45,条检索词条 特定的数学模型,97%,1. 改革公共卫生流感预测与谷歌搜索,什么是大数据,2009,年，甲型,H1N1,流感在全球爆发传播，为了发现和控制疫情，各国政府和卫生相关部门付出了巨大努力，但得到的数据仍然滞后一两周，而,Google,对人们的搜索的历史记录进行处理，建立合理的数学模型后，得到的预测结果与官方的数据,相关性高达,97%,，能够立刻判断出流感是从哪里传播出来的，没有一两周的滞后。,Google,处理了,5000,万条,历史记录、,4.5,亿个,不同的数学模型。,什么是大数据2009年，甲型H1N1流感在全球爆发传播，为了,2.,变革商业,飞机票的购买,2003,年，奥伦,埃齐奥尼,西雅图,-,洛杉矶 几个月 机票价格,埃齐奥尼,1994,搜索引擎,metacrawler infoSpace,公司,比价网站,Netbot Excite,公司,“世界就是一系列的大数据问题”。,机票预测系统,2. 变革商业飞机票的购买,什么是大数据,Farecast,是一个对机票价格进行预测的公司，帮助消费者抓住最佳购买机票的时机，使乘客节省很多钱。,最初预测系统建立在,41,天之内的,12000,个价格样本基础上，数据是从旅游网站上抓取的，如今已经拥有超过,2000,亿,条飞行记录。,系统只,推测,机票的价格何时最便宜，,不关心是什么原因,导致的价格下降。,Farecast,Bing,什么是大数据Farecast是一个对机票价格进行预测的公司，,机票预测系统,41,天,12000,个价格样本,“哈姆雷特”项目,Farecast,票价预测工具,行业机票预定数据库,Farecast 2000,亿条飞行数据记录,微软公司,1.1,亿美金 必应搜索引擎,2012,年 近十万条价格记录,75% 50,美金,机票预测系统41天,3.,变革思维,信息爆炸,新处理技术的诞生,Mapreduce Hadoop,思维模式的改变,为什么？,是什么？,3. 变革思维信息爆炸,4.,大数据，开启重大的时代转型,天文学，信息爆炸的起源,2000,年斯隆数字巡天项目启动,几周数据,历史数据,2010 1.4,*,2,42,字节,2016,智利 大型视场全景巡天望远镜,5,天数据量,互联网公司,Google 24PB,Youtube 8,亿,/,月访客,1,小时视频,/,秒,Twitter 4,亿,/,天微博,4. 大数据，开启重大的时代转型天文学，信息爆炸的起源,何为大？,数据度量,1Byte = 8 Bit,1KB = 1,024 Bytes=2,10,B,1MB = 1,024 KB = 2,20,B,1GB = 1,024 MB = 2,30,B,1TB = 1,024 GB = 2,40,B,1PB = 1,024 TB = 2,50,B,1EB = 1,024 PB = 2,60,B,1ZB = 1,024 EB = 2,70,B,1YB = 1,024 ZB = 2,80,B,何为大？数据度量1Byte = 8 Bit,大数据,红楼梦,含标点,87,万字（不含标点,853509,字）,每个汉字占两个字节：,1,汉字,=16bit = 2*8,位,=2bytes,1GB,约等于,671,部红楼梦,1TB,约等于,631,903,部,1PB,约等于,647,068,911,部,美国国会图书馆藏书（,151,785,778,册）（,2011,年,4,月：收录数据,235TB,）,1EB = 4000,倍美国国会图书馆存储的信息量,大数据红楼梦含标点87万字（不含标点853509字）,我们周围到底有多少数据？增长速度有多快？,1.2ZB=,记录在书里，书可以覆盖整个美国,52,次；,刻录光盘，,5,堆，每一堆可以伸到月球；,。,模拟数据,vs,数字数据,我们周围到底有多少数据？增长速度有多快？1.2ZB=记录在书,人类存储信息的增长速度比世界经济的增长速度快,4,倍，而计算机处理数据能力的增长速度则必世界经济的增长速度快,9,倍。,人类存储信息的增长速度比世界经济的增长速度快4倍，而计算机处,5.,预测，大数据的核心,大数据的核心是预测,把数学算法运用到海量的数据上来预测事情发生的可能性。,从一个人乱穿马路时行进的轨迹和速度来看他能及时穿过马路的可能性，都是大数据可以预测的范围。,人工智能,反馈,5. 预测，大数据的核心大数据的核心是预测,6.,大数据、大挑战,大量的数据，不再依赖随机采样,大量的数据，不再追求精确度,不再热衷于寻找因果关系,6. 大数据、大挑战大量的数据，不再依赖随机采样,大数据的特性,大数据,的特性,更关注,相关性,主要用,于预测,数据量,巨大,实时性,要求高,大数据的特性大数据 更关注 主要用 数据量 实时性,视频：买披萨告诉你什么是大数据时代？,视频：买披萨告诉你什么是大数据时代？,01,大数据时代的思维变革,02,大数据时代的商业变革,03,大数据时代的管理变革,01大数据时代的思维变革02大数据时代的商业变革03大数据时,