《大数据》第1章大数据概念与应用

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,11/7/2009,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,大数据第1章大数据概念与应用,大数据第1章大数据概念与应用,第一,章大数据概念与应用,1.1,大数据的概念与意义,1.2,大数据的来源,1.3,大,数据应用场景,1.4,大,数据处理方法,of,40,2,习题,第一章大数据概念与应用1.1大数据的概念与意义1.2大,1.1,大,数据的概念与意义,第一章 大数据概念与应用,of,40,3,1,2008,年,9,月，美国自然（,Nature,）杂志专刊,The next google,第一次正式提出“大数据”概念,。,2,2011,年,2,月,1,日，科学（,Science,）杂志专刊,Dealing with data,，通过社会调查的方式，第一次综合分析了大数据对人们生活造成的影响，详细描述了人类面临的“数据困境”,。,3,2011,年,5,月，麦肯锡研究院发布报告,Big data:The next frontier for innovation,competition,and productivity,第一次给大数据做出相对清晰的定义：“大数据是指其大小超出了常规数据库工具获取、储存、管理和分析能力的数据集。”,时至今日，“数据”变身“大数据”，“开启了一次重大的时代转型,”,。,“大数据”这一概念的形成，有三个标志性事件：,1,从“数据”到“大数据”,1.1 大数据的概念与意义第一章 大数据概念与应用of405,4 V,特征,种类多,（,V,ariety,）,速度快,（,V,elocity,）,价值高（,V,alue,）,体,量,大,（,V,olume,）,大数据与传统数据相比，数据来源广、维度多、类型杂，各种机器仪表在自动产生数据的同时，人自身的生活行为也在不断创造数据；不仅有企业组织内部的业务数据，还有海量相关的外部数据。,随着现代感测、互联网、计算机技术的发展，数据生成、储存、分析、处理的速度远远超出人们的想象力，这是大数据区别于传统数据或小数据的显著特征。,大数据有巨大的潜在价值，但同其呈几何指数爆发式增长相比，某一对象或模块数据的价值密度较低，这无疑给我们开发海量数据增加了难度和成本。,第一章 大数据概念与应用,of,40,4,从,2013,年至,2020,年，人类的数据规模将扩大,50,倍，每年产生的数据量将增长到,44,万亿,GB,，相当于美国国家图书馆数据量的数百万倍，且每,18,个月翻一番。,1.1,大,数据的概念与意义,4 V种类多（Variety）速度快（Velocity）价,第一章 大数据概念与应用,大数据,数据源整合进行存储、清洗、挖掘、分析后得出结果直到优化企业管理提高效率,云计算、硬件性价比的提高以及软件技术的进步,智能设备、传感器的普及，推动物联网、人工智能的发展,计算,运行、计算速度越来越快,存储,存储成本下降,智能,实现信息对等解放脑力，机器拥有人的智慧,of,40,5,1.1,大,数据的概念与意义,2,大数据的技术,支撑,第一章 大数据概念与应用大数据数据源整合进行存储、清洗、挖掘,第一章 大数据概念与应用,of,40,6,1.1,大,数据的概念与意义,1,）存储：存储成本的下降,云计算出现之前,云计算出现之后,在云计算出现之前，数据存储的成本是非常高的,。,例如，公司要建设网站，需要购置和部署服务器，安排技术人员维护服务器，保证数据存储的安全性和数据传输的畅通性，还会定期清理数据，腾出空间以便存储新的数据，机房整体的人力和管理成本都很高。,云计算出现后，数据存储服务衍生出了新的商业模式，数据中心的出现降低了公司的计算和存储成本。,例如，公司现在要建设网站，不需要去购买服务器，不需要去雇用技术人员维护服务器，可以通过租用硬件设备的方式解决问题。,存储成本的下降，也改变了大家对数据的看法，更加愿意把1年、2年甚至更久远的历史数据保存下来，有了历史数据的沉淀，才可以通过对比，发现数据之间的关联和价值。正是由于存储成本的下降，才能为大数据搭建最好的基础设施。,第一章 大数据概念与应用of4081.1 大数据的概念与意义,第一章 大数据概念与应用,of,40,7,1.1,大,数据的概念与意义,2,）计算：运算速度越来越快,分布式系统基础架构Hadoop的出现，为大数据带来了新的曙光；,HDFS为海量的数据提供了存储；,MapReduce则为海量的数据提供了并行计算，从而大大提高了计算效率；,Spark、Storm、Impala等各种各样的技术进入人们的视野。,海量数据从原始数据源到产生价值，期间会经过存储、清洗、挖掘、分析等多个环节，如果计算速度不够快，很多事情是无法实现的。所以，在大数据的发展过程中，计算速度是非常关键的因素。,第一章 大数据概念与应用of4091.1 大数据的概念与意义,第一章 大数据概念与应用,of,40,8,1.1,大,数据的概念与意义,3）智能：机器拥有理解数据的能力,大数据带来的最大价值就是“智慧”，,大数据让机器变得有智慧，同时人工智能进一步提升了处理和理解数据的能力。例如：,谷歌AlphaGo大胜世界围棋冠军李世石,阿里云小Ai成功预测出我是歌手的总决赛歌王,1,2,iPhone上智能化语音机器人Siri,微信上与大家聊天的微软小冰,3,4,第一章 大数据概念与应用of40101.1 大数据的概念与意,第一章 大数据概念与应用,of,40,9,美国,著名管理学家爱德华戴明所言：“我们信靠上帝。除了上帝，任何人都必须用数据来说话。,”,（,1,）有数据可,说,在,大数据时代，“万物皆数”，“量化一切”，“一切都将被数据化”。人类生活在一个海量、动态、多样的数据世界中，数据无处不在、无时不有、无人不用，数据就像阳光、空气、水分一样常见，好比放大镜、望远镜、显微镜那般重要,。,（,2,）说数据可靠,大,数据中的“数据”真实可靠，它实质上是表征事物现象的一种符号语言和逻辑关系，其可靠性的数理哲学基础是世界同构原理。世界具有物质统一性，统一的世界中的一切事物都存在着时空一致性的同构关系。这意味着任何事物的属性和规律，只要通过适当编码，均可以通过统一的数字信号表达出来。,1.1,大,数据的概念与意义,3,大数据的意义,因此，,“用数据说话”、“让数据发声”,，已成为人类认知世界的一种全新方法。,第一章 大数据概念与应用of4011美国著名管理学家爱德华,1.1,从“数据”到“大数据”,第一章 大数据概念与应用,of,40,10,风马牛可相,及,在,大数据背景下，因海量无限、包罗万象的数据存在，让许多看似毫不相干的现象之间发生一定的关联，使人们能够更简捷、更清晰地认知事物和把握局势。大数据的巨大潜能与作用现在难以进行估量，但揭示事物的相关关系无疑是其真正的价值所在。,经典案例：,（,1,）啤酒与,尿布,（,2,）谷歌与流感,1.1从“数据”到“大数据”第一章 大数据概念与应用of40,1.1,大数据的概念与意义,1.2,大数据的来源,第一,章大数据概念与应用,1.3,大,数据应用场景,1.4,大,数据处理方法,of,40,11,习题,1.1大数据的概念与意义1.2大数据的来源第一章大数据,1.2,大数据的来源,第一章 大数据概念与应用,of,40,12,全球数据总量图,杰姆格雷（,Jim Gray,）提出著名的“新摩尔定律”，即人类有史以来的数据总量，每过,18,个月就会,翻一番,。,(EB),(,年份,),1.2 大数据的来源第一章 大数据概念与应用of4014全球,为什么全球数据量,增长如此之,快,？,为什么全球数据量,1.2,大数据的来源,第一章 大数据概念与应用,of,40,14,互联网每天产生的全部内容可以刻满,6.4,亿张,DVD,Google,每天需要处理,24PB,的数据,网民每天在,Facebook,上要花费,234,亿分钟，被移动互联网使用者发送和接收的数据高达,44PB,全球每秒发送,290,万封电子邮件，一分钟读一篇的话，足够一个人昼夜不停地读,5.5,年,每天会有,2.88,万个小时的视频上传,到,YouTube,，足够一个人昼夜不停地观看,3.3,年,Twitter,上每天发布,5000,万条消息，假设,10,秒就浏览一条消息，足够一个人昼夜不停地浏览,16,年,大数据,到底有多,大,？,以上,一,组互联网数据,1.2 大数据的来源第一章 大数据概念与应用of4016互联,1.2,大数据的来源,第一章 大数据概念与应用,of,40,15,来自大量传感器的机器数据,科学研究及行业多,结构专业数据,来自“大人群”泛互联网数据,智能终端拍照、拍视频,发微博、发微信,其他互联网数据,海量的,数据,的产生,随着人类活动的进一步扩展，数据规模会急剧膨胀，包括金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等在内的各行业累积的数据量越来越大，数据类型也越来越多、越来越复杂，已经超越了传统数据管理系统、处理模式的能力范围，于是“大数据”这样一个概念才会,应运而生,。,1.2 大数据的来源第一章 大数据概念与应用of4017来自,1.2,大数据的来源,第一章 大数据概念与应用,of,40,16,按产生数据的主体划分,1）少量企业应用产生的数据,如关系型数据库中的数据和数据仓库中的数据等。,2）大量人产生的数据,如推特、微博、通信软件、移动通信数据、电子商务在线交易日志数据、企业应用的相关评论数据等。,3）巨量机器产生的数据,如应用服务器日志、各类传感器数据、图像和视频监控数据、二维码和条形码（条码）扫描数据等。,01,1.2 大数据的来源第一章 大数据概念与应用of4018按产,1.2,大数据的来源,第一章 大数据概念与应用,of,40,17,按数据来源的行业划分,1）以BAT为代表的互联网公司,百度公司数据总量超过了千PB级别，阿里巴巴公司保存的数据量超过了百PB级别，拥有90%以上的电商数据，腾讯公司总存储数据量经压缩处理以后仍然超过了百PB级别，数据量月增加达到10%,。,2）电信、金融、保险、电力、石化系统,电信行业数据年度用户数据增长超过10%，金融每年产生的数据超过数十PB，保险系统的数据量也超过了PB级别，电力与石化方面，仅国家电网采集获得的数据总量就达到了数十PB，石油化工领域每年产生和保存下来的数据量也将近百PB级别。,3）公共安全、医疗、交通领域,一个中、大型城市，一个月的交通卡口记录数可以达到3亿条；整个医疗卫生行业一年能够保存下来的数据就可达到数百PB级别；航班往返一次产生的数据就达到TB级别；列车、水陆路运输产生的各种视频、文本类数据，每年保存下来的也达到数十PB。,02,4）气象、地理、政务等领域,中国气象局保存的数据将近10PB，每年约增数百TB；各种地图和地理位置信息每年约数十PB；政务数据则涵盖了旅游、教育、交通、医疗等多个门类，且多为结构化数据。,5）制造业和其他传统行业,制造业的大数据类型以产品设计数据、企业生产环节的业务数据和生产监控数据为主。其中产品设计数据以文件为主，非结构化，共享要求较高，保存时间较长,；,企业生产环节的业务数据主要是数据库结构化数据，而生产监控数据则数据量非常大。在其他传统行业，虽然线下商业销售、农林牧渔业、线下餐饮、食品、科研、物流运输等行业数据量剧增，但是数据量还处于积累期，整体体量都不算大，多则达到PB级别，少则数十TB或数百TB级别。,1.2 大数据的来源第一章 大数据概念与应用of4019按数,1.2,大数据的来源,第一章 大数据概念与应用,of,40,18,按数据存储的形式划分,大数据不仅