大数据及其现实应用课件

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,大数据及其现实应用,管理学院,周功建,开放作业题目,结合自己的专业特点，写一篇大数据应用论文！,要求：,找准大数据在本专业的一个具体应用点进行展开，将自己设定为某公司的首席数据运营官，用大数据的思维帮助企业提高数据应用能力和业务分析水平。,讨论大数据的时点,上市时间,公司,创新,时代,鼎盛期,1996,雅虎,网页聚合,WEB1.0,8,年,2004,谷歌,主题词聚合,WEB1.5,8,年,2012,FACEBOOK,使用者聚合,WEB2.0,8,年？,2020,？,？,数据聚合？,WEB3.0,？,？,大数据热反映出人们在猜测追寻下一个大创新,内容提示,认识大数据,大数据带来的变革,大数据的商业价值,大数据的运用案例分析,迎接大数据时代到来的条件,硬件成本的降低,网络带宽的提升,云计算的兴起,网络技术的发展,智能终端的普及,电子商务、社交网络、电子地图等的全面应用,物联网,迎接大数据时代到来的条件,硬件成本的降低,网络带宽的提升,云计算的兴起,网络技术的发展,智能终端的普及,电子商务、社交网络、电子地图等的全面应用,物联网,迎接大数据时代到来的条件,硬件成本的降低,网络带宽的提升,云计算的兴起,网络技术的发展,智能终端的普及,电子商务、社交网络、电子地图等的全面应用,物联网,迎接大数据时代到来的条件,硬件成本的降低,网络带宽的提升,云计算的兴起,网络技术的发展,智能终端的普及,电子商务、社交网络、电子地图等的全面应用,物联网,迎接大数据时代到来的条件,硬件成本的降低,网络带宽的提升,云计算的兴起,网络技术的发展,智能终端的普及,电子商务、社交网络、电子地图等的全面应用,物联网,迎接大,数,数据时,代,代到来,的,的条件,硬件成,本,本的降,低,低,网络带,宽,宽的提,升,升,云计算,的,的兴起,网络技,术,术的发,展,展,智能终,端,端的普,及,及,电子商,务,务、社,交,交网络,、,、电子,地,地图等,的,的全面,应,应用,物联网,迎接大,数,数据时,代,代到来,的,的条件,硬件成,本,本的降,低,低,网络带,宽,宽的提,升,升,云计算,的,的兴起,网络技,术,术的发,展,展,智能终,端,端的普,及,及,电子商,务,务、社,交,交网络,、,、电子,地,地图等,的,的全面,应,应用,物联网,如今，,我,我们处,在,在大数,据,据时代,当前互,联,联网条,件,件下大,数,数据的,典,典型代,表,表,1-,用户行,为,为数据,（,精准广,告,告投放,、,、内容,推,推荐、,行,行为习,惯,惯和喜,好,好分析,、,、产品,优,优化等,）,2-,用户消,费,费数据,（,精准营,销,销、信,用,用记录,分,分析、,活,活动促,销,销、理,财,财等,）,3-,用户地,理,理位置,数,数据,（,o2o,推广，,商,商家推,荐,荐，交,友,友推荐,等,等,）,4-,互联网,金,金融数,据,据,（,P2P,，小额,贷,贷款，,支,支付，,信,信用，,供,供应链,金,金融等,）,）,5-,用户社,交,交数据,（趋势,分,分析、,流,流行元,素,素分析,、,、受欢,迎,迎程度,分,分析、,舆,舆论监,控,控分析,、,、社会,问,问题分,析,析等,）,拥抱大,数,数据,什么是,大,大数据,百度百,科,科,：大数,据,据,(big data),，或称,巨,巨量资,料,料，指,的,的是所,涉,涉及的,资,资料量,规模巨,大,大,到无法,透,透过目,前,前主流,软,软件工,具,具，在,合,合理时,间,间内达,到,到撷取,、,、管理,、,、处理,、,、并整,理,理成为,帮,帮助企,业,业经营,决,决策更,积,积极目,的,的的,资讯,。,维基百,科,科,：,大数据,是,是由数,量,量巨大,、,、结构,复,复杂、,类,类型众,多,多数据,构,构成的,数据集,合,合,，是基,于,于云计,算,算的数,据,据处理,与,与应用,模,模式，,通,通过数,据,据的整,合,合共享,，,，交叉,复,复用形,成,成的,智力资,源,源,和,知识服,务,务,能力。,我的观,点,点,：大数,据,据是由,大,大量异,构,构的数,据,据组成,的,的,数据集,合,合,，它是,可,可以应,用,用合理,的,的数学,算,算法或,工,工具从,中,中找出,有,有价值,的,的信息,，,，为人,们,们带来,利,利益的,一,一门,新兴学,科,科,。,大数据,与,传统数,据,据,的区别,？,？,小明去,了,了一百,次,次书店,传统数,据,据：要回答,的,的问题,是,是他第,一,一百零,一,一次买,不,不买书,，,，即业,绩,绩和经,营,营指标,的,的问题,；,；,大数据,：,：要回答,的,的是他,第,第一百,零,零一次,买,买什么,书,书，需,要,要将什,么,么样的,内,内容推,荐,荐给他,。,。,群体和,个,个体的,区,区别,传统定,义,义上，更多关,注,注的是,一,一类人,群,群，用,同,同一类,规,规则制,订,订套餐,给,给他们,；,；,互联网,时,时代，要把每,个,个人都,精,精准刻,画,画出来,，,，进行,精,精准匹,配,配。,19,大数据,与,传统数,据,据库,的区别,大数据,是,是在传,统,统数据,库,库学科,的,的分支,数据仓,库,库与数,据,据挖掘,的,的基础,上,上进一,步,步发展,起,起来的,。,。但有,两,两点比,较,较主要,的,的不同,：,：,结构化,程,程度,传统数,据,据库,保存的,是,是结构,化,化或者,半,半结构,化,化的数,据,据，以,二,二维表,或,或者标,准,准,XML,文件的,方,方式存,储,储数据,，,，由于,结,结构清,晰,晰，处,理,理相对,容,容易；,大数据,面向的,是,是一切,计,计算机,可,可以存,储,储的数,据,据格式,，,，包括,互,互联网,上,上的各,种,种网页,、,、图片,、,、音频,、,、视频,，,，包括,办,办公文,档,档、报,表,表，包,括,括人们,在,在搜索,引,引擎中,输,输入的,关,关键词,、,、在社,交,交网络,中,中的留,言,言、喜,好,好，也,包,包括各,种,种传感,器,器自动,收,收集的,监,监控结,果,果等等,，,，显然,不,不同的,格,格式处,理,理起来,更,更加困,难,难。,异常数,据,据的处,理,理,传统数,据,据库,通常把,异,异常数,据,据先剔,除,除，应,用,用在需,要,要高精,确,确度的,领,领域，,如,如银行,对,对每个,账,账户的,管,管理；,大数据,则允许,异,异常数,据,据存在,，,，更多,应,应用在,预,预测方,面,面，找,出,出大量,数,数据中,隐,隐藏的,关,关联关,系,系，少,量,量异常,数,数据不,会,会对总,体,体结果,产,产生影,响,响。,理解大,数,数据,大数据,=,海量数,据,据,+,复杂类,型,型的数,据,据,大数据,包,包括：,交易数,据,据和交,互,互数据,集,集在内,的,的所有,数,数据集,大数据,的,的构成,海量交,易,易数据,：,：,企业内,部,部的经,营,营交易,信,信息主,要,要包括,联,联机交,易,易数据,和,和联机,分,分析数,据,据，是,结,结构化,的,的、通,过,过关系,数,数据库,进,进行管,理,理和访,问,问的静,态,态、历,史,史数据,。,。通过,这,这些数,据,据，我,们,们能了,解,解过去,发,发生了,什,什么。,海量交,互,互数据,：,：,源于,Facebook,、,Twitter,、,LinkedIn,及其他,来,来源的,社,社交媒,体,体数据,构,构成。,它,它包括,了,了呼叫,详,详细记,录,录,CDR,、设备,和,和传感,器,器信息,、,、,GPS,和地理,定,定位映,射,射数据,、,、通过,管,管理文,件,件传输,ManageFileTransfer,协议传,送,送的海,量,量图像,文,文件、,Web,文本和,点,点击流,数,数据、,科,科学信,息,息、电,子,子邮件,等,等等。,可,可以告,诉,诉我们,未,未来会,发,发生什,么,么。,海量数,据,据处理,：,：,大数据,的,的涌现,已,已经催,生,生出了,设,设计用,于,于数据,密,密集型,处,处理的,架,架构。,例,例如具,有,有开放,源,源码、,在,在商品,硬,硬件群,中,中运行,的,的,ApacheHadoop,。,“大量,化,化,(Volume),、多样,化,化,(Variety),、快速,化,化,(Velocity),、价值,密,密度低,（,（,Value,）”就,是,是“大,数,数据”,的,的显著,特,特征，,或,或者说,，,，只有,具,具备这,些,些特点,的,的数据,，,，才是,大,大数据,。,。,Volume,Velocity,Value,Variety,大数据,的,的,4V,特征,Value,价值,挖掘大,数,数据的,价,价值类,似,似沙里,淘,淘金,从海量,数,数据中,挖,挖掘稀,疏,疏但珍,贵,贵的信,息,息,.,价值密,度,度低,是大数,据,据的一,个,个典型,特,特征,.,Variety,多样性,企业内,部,部的经,营,营交易,信,信息,;,物联网,世,世界中,商,商品,物流信,息,息,;,互联,网,网世,界,界中,人,人与,人,人交,互,互信,息,息,位置,信,信息,等,等是,大,大数,据,据的,主,主要,来,来源,.,能够,在,在不,同,同的,数,数据,类,类型,中,中,进行,交,交叉,分,分析,的,的技,术,术,是大,数,数据,的,的核,心,心技,术,术之,一,一,.,语义,分,分析,技,技术,图文,转,转换,技,技术,模式,识,识别,技,技术,地理,信,信息,技,技术,等,等,都会,在,在大,数,数据,分,分析,时,时获,得,得应,用,用,.,Social Media,Machine / Sensor,DOC / Media,Web,Clickstream,Apps,Call Log,Log,结构,化,化、,半结,构,构化,、,非结,构,构化,数,数据,Velocity,速度,1s,是临,界,界点,.,对于,大,大数,据,据应,用,用而,言,言,必须,要,要在,1,秒钟,内,内形,成,成答,案,案,否则,处,处理,结,结果,就,就是,过,过时,和,和无,效,效的,.,实时,处,处理,的,的要,求,求,是区,别,别大,数,数据,引,引用,和,和传,统,统数,据,据仓,库,库技,术,术,BI,技术,的,的关,键,键差,别,别之,一,一,.,Volume,数据,量,量,PB,是大,数,数据,層,層次,的,的临,界,界点,.,KB,-,MB,-,GB,-,TB,-,PB,-,EB,-,ZB,-,YB,-,NB,-,DB,大数,据,据的,储,储存,与,与处,理,理,/,运算,大数,据,据储,存,存,大数,据,据处,理,理,数据,分,分享,数据,检,检索,数据,分,分析,数据,展,展现,分布,式,式软,件,件架,构,构,并行,计,计算,框,框架,分布,式,式存,储,储,横向,扩,扩容,(Scale-out),架构,和大,数,数据,相,相关,的,的技,术,术,大数,据,据必,然,然无,法,法用,单,单台,的,的计,算,算机,进,进行,处,处理,，,，必,须,须采,用,用,分布,式,式架,构,构,。,对海,量,量数,据,据进,行,行分,布,布式,数,数据,挖,挖掘,，,，必,须,须依,托,托云,计,计算,的,的,分布,式,式处,理,理,、,分布,式,式数,据,据库,和,云存,储,储,、,虚拟,化,化技,术,术,。,1.,云计,算,算,云计,算,算是分布,式,式处,理,理,(DistributedComputing),、,并行,处,处理,(ParallelComputing),和网格,计,计算,(GridComputing),的发,展,展，,是,是,透过,网,网络,将,将庞,大,大的,计,计算,处,处理,程,程序,自,自动,分,分拆,成,成无,数,数个,较,较小,的,的子,程,程序,，,，再,交,交由,多,多部,服,服务,器,器所,组,组成,的,的庞,大,大系,统,统经,计,计算,分,分析,之,之后,将,将处,理,理结,果,果回,传,传给,用,用户,。,。,*,云,云计,算,算与,大,大数,据,据的,区,区分,：,：,第一,，,，,在概,念,念上,两者,有,有所,不,不同,，,，云,计,计算,改,改变,了,了,IT,，而,大,大数,据,据则,改,改变,了,了业,务,务。,然,然而,大,大数,据,据必,须,须有,云,云作,为,为基,础,础架,构,构，,才,才能,得,得以,顺,顺畅,运,运营,。,。,第二,，,，大,数,数据,和,和云,计,计算,的,的,目标,受,受众,不同,，,，云,计,计算,是,是,CIO,等关,心,心的,技,技术,层,层，,是,是一,个,个进,阶,阶的,IT,解决,方,方案,。,。而,大,大数,据,据是,CEO,关注,的,的、,是,是业,务,务层,的,的产,品,品，,而,而大,数,数据,的,的决,策,策者,是,是业,务,务层,。,。,2.,分布,式,式处,理,理技,术,术,Hadoop,是一,个,个实,现,现了,MapReduce,模式,的,的能,够,够对,大,大量,数,数据,进,进行,分,分布,式,式处,理,理的,软,软件,框,框架,。,。,HDFS:,Hadoop,分布,式,式文,件,件系,统,统,(DistributedFileSystem),MapReduce,：,并行,计,计算,框,框架,HBase:,类似,GoogleBigTable,的分,布,布式,NoSQL,列数,据,据库,。,。,Hive,：,数据,仓,仓库,工,工具,，,，由,Facebook,贡献,。,。,Zookeeper,：,分布,式,式锁,设,设施,，,，提,供,供类,似,似,GoogleChubby,的功,能,能，,由,由,Facebook,贡献,。,。,Avro,：,新的,数,数据,序,序列,化,化格,式,式与,传,传输,工,工具,，,，将,逐,逐步,取,取代,Hadoop,原有,的,的,IPC,机制,。,。,Pig:,大数,据,据分,析,析平,台,台，,为,为用,户,户提,供,供多,种,种接,口,口。,Ambari,：,Hadoop,管理,工,工具,，,，可,以,以快,捷,捷的,监,监控,、,、部,署,署、,管,管理,集,集群,。,。,Sqoop,：,用于,在,在,Hadoop,与传,统,统的,数,数据,库,库间,进,进行,数,数据,的,的传,递,递,3.,云存,储,储,云存,储,储是,在,在云计,算,算,(cloudcomputing),概念,上,上延,伸,伸和,发,发展,出,出来,的,的一,个,个新,的,的概,念,念，,是,是一,种,种新,兴,兴的,网,网络,存,存储,技,技术,，,，是,指,指,通过集群应用,、,、网络,技,技术或分布,式,式文,件,件系,统,统等功,能,能，,将,将网,络,络中,大,大量,各,各种,不,不同,类,类型,的,的存,储,储设,备,备通,过,过应,用,用软,件,件集,合,合起,来,来协,同,同工,作,作，,共,共同,对,对外,提,提供数据,存,存储和业,务,务访,问,问功,能,能的,一,一个,系,系统,。,。,淘宝,的,的大,数,数据,技,技术,架,架构,参考,资,资料,推,推荐,延深,阅,阅读,150,年后,，,，当,互,互联,网,网将,这,这个,世,世界,紧,紧密,连,连接,起,起来,的,的时,候,候，,新,新的,物,物种,诞,诞生,了,了,。,我们,称,称之,为,为生,命,命的,信,信息,过,过程,数,数十,亿,亿年,前,前控,制,制了,地,地球,的,的大,气,气层,。,。现,在,在，,另,另一,个,个信,息,息过,程,程,科技,元,元素,，,，正,在,在重,新,新征,服,服地,球,球。,最需,要,要读,这,这本,书,书的,，,，应,该,该是,打,打价,格,格战,打,打晕,了,了头,，,，占,领,领市,场,场醒,后,后却,发,发现,没,没有,利,利润,的,的商,人,人；,或,或者,是,是想,以,以数,字,字技,术,术新,法,法取,胜,胜，,希,希望,像,像乔,布,布斯,那,那样,赢,赢的,雄,雄心,勃,勃勃,的,的年,轻,轻人,。,。,大数据能,给,给我们带,来,来什么？,？,内容提示,认识大数,据,据,大数据带,来,来的变革,大数据的,商,商业价值,大数据的,运,运用案例,分,分析,一,.,大数据带,来,来全新的生活方式,大数据时,代,代的物联,网,网，带给,我,我们智能,家,家居。,大数据带,来,来全新的生活方式,购物：,不受时空,限,限制，随,时,时随地购,物,物。,在看不到,商,商品的情,况,况下，口,碑,碑就是质,量,量。,大数据带,来,来全新的生活方式,旅行：,足不出户,，,，安排好,一,一切。,大数据带,来,来全新的生活方式,信息：,人人都是,传,传媒。,大数据带,来,来全新的生活方式,社交：,你所有的,朋,朋友都能,在,在网络上,找,找到。,二,.,大数据带,来,来全新的思维方式,1.,分析事物,时,时，依赖,该,该事物的,所,所有数据,，,，不再是,进,进行样本,分,分析。,2.,在大数据,时,时代，允,许,许不精确,。,。,3.,更注重相,关,关关系，,而,而不是因,果,果关系。,1.,“更多”,不是随机,样,样本，而,是,是全体数,据,据,当数据处,理,理技术已,经,经发生翻,天,天覆地的,变,变化时，,在,在大数据,时,时代进行,抽,抽样分析,就,就像在汽,车,车时代骑,马,马一样。,一,一切都改,变,变了，我,们,们需要的,是,是所有的,数,数据，“,样,样本总,体,体”。,让数据“,发,发声”,小数据时,代,代的随机,采,采样，最,少,少的数据,获,获得最多,的,的信息,全数据模,式,式，样本,总体,大数据带,来,来全新的思维方式,2.,“更杂”,不是精确,性,性，而是,混,混杂性,执迷于精,确,确性是信,息,息缺乏时,代,代和模拟,时,时代的产,物,物。只有,5%,的数据是,有,有框架且,能,能适用于,传,传统数据,库,库的。如,果,果不能接,受,受混乱，,剩,剩下,95%,的非框架,数,数据都无,法,法被利用,，,，只有接,受,受不精确,性,性，我们,才,才能打开,一,一扇从未,涉,涉足的世,界,界的窗户,。,。,允许不精,确,确,大数据的,简,简单算法,比,比小数据,的,的复杂算,法,法更有效,纷繁的数,据,据越多越,好,好,混杂性，,不,不是竭力,避,避免，而,是,是标准途,径,径,新的数据,库,库设计的,诞,诞生,大数据带,来,来全新的思维方式,3.,“更好”,不是因果,关,关系，而,是,是相关关,系,系,知道“是,什,什么”就,够,够了，没,必,必要知道,“,“为什么,”!,在大数据,时,时代，我,们,们不必非,得,得知道现,象,象背后的,原,原因，而,是,是要让数,据,据自己“,发,发声”。,关联物，,预,预测的关,键,键,“是什么,”,”，而不,是,是“为什,么,么”,改变，从,操,操作方式,开,开始,大数据，,改,改变人类,探,探索世界,的,的方法,大数据带,来,来全新的思维方式,1.,“数据化,”,”,一切皆可,“,“量化”,大数据发,展,展的核心,动,动力来源,于,于人类测,量,量、记录,和,和分析世,界,界的渴望,。,。信息技,术,术变革随,处,处可见，,但,但是如今,信,信息技术,变,变革的重,点,点在“,T,”（技术,）,）上，而,不,不是在“,I”(,信息）上,。,。现在，,我,我们是时,候,候把聚光,灯,灯打向“,I,”，开始,关,关注信息,本,本身了。,数据，从,最,最不可能,的,的地方提,取,取出来,数据化，,不,不是数字,化,化,量化一切,，,，数据化,的,的核心,当文字变,成,成数据,当方位变,成,成数据,当沟通成,为,为数据,一切事物,的,的数据化,三,.,大数据带,来,来新的商业变革,2.,“价值”,“取之不,尽,尽，用之,不,不竭”的,数,数据创新,数据就像,一,一个神奇,的,的钻石矿,，,，当它的,首,首要价值,被,被发掘后,仍,仍能不断,给,给予。它,的,的真实价,值,值就像漂,浮,浮在海洋,中,中的冰山,，,，第一眼,只,只能看到,冰,冰山的一,角,角，而绝,大,大部分都,隐,隐藏在表,面,面之下。,数据创新,1,：数据的,再,再利用,数据创新,2,：重组数,据,据,数据创新,3,：可扩展,数,数据,数据创新,4,：数据的,折,折旧值,数据创新,5,：数据废,气,气,数据创新,6,：开放数,据,据,给数据估,值,值,大数据带,来,来新的商业变革,3.,“角色定,位,位”,数据、技,术,术与思维,的,的三足鼎,立,立,微软以,1.1,亿美元的,价,价格购买,了,了大数据,公,公司,Farecast,，而两年,后,后谷歌则,以,以,7,亿美元的,价,价格购买,了,了给,Farecast,提供数据,的,的,ITASoftware,公司。如,今,今，我们,正,正处在大,数,数据时代,的,的早期，,思,思维和技,术,术是最有,价,价值的，,但,但是最终,大,大部分价,值,值还是必,须,须从数据,本,本身来挖,掘,掘。,大数据价,值,值的,3,大构成,大数据掌,控,控公司,大数据技,术,术公司,大数据思,维,维公司和,个,个人,全新的数,据,据中间商,专家的消,亡,亡与数据,科,科学家的,崛,崛起,大数据，,决,决定企业,的,的竞争力,大数据带,来,来新的商业变革,大数据价,值,值链的三,种,种存在模,式,式,数据,数据的掌,控,控者，拥,有,有或者可,以,以收集大,量,量数据的,公,公司。海,量,量的数据,就,就是财富,，,，可以考,虑,虑自己分,析,析或者卖,数,数据给其,他,他公司。,金融机构,，,，电信行,业,业，政府,机,机构等。,技术,技术供应,商,商或者分,析,析公司。,掌,掌握了从,海,海量数据,中,中分析出,有,有用信息,的,的技能或,者,者工具，,但,但本身不,一,一定拥有,数,数据。,IBM,，,Oracle,等,。,思维,有创新思,维,维的人或,者,者公司。,他,他们对大,数,数据敏感,，,，有怎样,挖,挖掘数据,的,的新价值,的,的独特想,法,法。,Google,，,Amazon,等。,Netflix,并不是任,何,何一个电,视,视台，而,是,是电视台,和,和电影院,的,的平台，,是,是北美最,大,大的付费,订,订阅视频,网,网站。基,于,于其,3000,万北美用,户,户观看视,频,频时留下,的,的行为数,据,据，预测,出,出凯文,史派西、,大,大卫,芬奇和,“,BBC,出品,”,三种元素,结,结合在一,起,起的电视,剧,剧产品将,会,会大火特,火,火 。此,外,外，,Netflix,还通过,“,大数据,”,观测到另,一,一流行趋,势,势：越来,越,越多的人,不,不再像,30,年前那样,，,，在固定,晚,晚上的固,定,定时刻守,在,在电视机,前,前，等着,收,收看电视,剧,剧的最新,剧,剧集，而,是,是,“,攒,”,起来，直,到,到整季剧,情,情全部播,放,放完毕之,后,后，才选,一,一个自己,方,方便的时,间,间段和地,点,点，在方,便,便的设备,（,（多数是,网,网络设备,，,，如电脑,、,、,iPad,）上一次,性,性观看。,纸牌屋,的数据库,包,包含了,3000,万用户的,收,收视选择,、,、,400,万条评论,、,、,300,万次主题,搜,搜索。最,终,终，拍什,么,么、谁来,拍,拍、谁来,演,演、怎么,播,播，都由,数,数千万观,众,众的客观,喜,喜好统计,决,决定。从,受,受众洞察,、,、受众定,位,位、受众,接,接触到受,众,众转化，,每,每一步都,由,由精准细,致,致高效经,济,济的数据,引,引导，从,而,而实现大,众,众创造的,C2B,，即由用,户,户需求决,定,定生产。,1.,“风险”,让数据主,宰,宰一切的,隐,隐忧,我们时刻,都,都暴露在,“,“第三只,眼,眼”之下,：,：亚马逊,监,监视着我,们,们的购物,习,习惯，谷,歌,歌监视着,我,我们的网,页,页浏览习,惯,惯，而微,博,博似乎什,么,么都知道,，,，不仅窃,听,听到了我,们,们心中的,“,“,TA,”，还有,我,我们的社,交,交关系网,。,。,无处不在,的,的“第三,只,只眼”,我们的隐,私,私被二次,利,利用了,预测与惩,罚,罚，不是,因,因为“所,做,做”，而,是,是因为“,将,将做”,数据独裁,挣脱大数,据,据的困境,四,.,大数据带,来,来新的管理变革,2.,“掌控”,责任与自,由,由并举的,信,信息管理,当世界开,始,始迈向大,数,数据时代,时,时，社会,也,也将经历,类,类似的地,壳,壳运动。,在,在改变人,类,类基本的,生,生活与思,考,考方式的,同,同时，大,数,数据早已,在,在推动人,类,类信息管,理,理准则上,重,重新定位,。,。然而，,不,不同于印,刷,刷革命，,我,我们没有,几,几个世纪,的,的时间去,适,适应，我,们,们也许只,有,有几年时,间,间。,管理变革,1,：个人隐,私,私保护，,从,从个人许,可,可到让数,据,据使用者,承,承担责任,管理变革,2,：个人动,因,因,VS,预测分析,管理变革,3,：击碎黑,盒,盒子，大,数,数据程序,员,员的崛起,管理变革,4,：反数据,垄,垄断大亨,大数据带,来,来新的管理变革,3.,全新的管,理,理模式,除了上帝,，,，任何人,都,都必须用,数,数据来说,话,话。,案例：,google,的设计师,卓越的管,理,理者必须,要,要利用数,据,据进行决,策,策。,案例：,克强指数,问题一：,数,数据从哪,里,里来？,问题二：,数,数据怎么,用,用？,大数据带,来,来新的管理变革,内容提示,认识大数,据,据,大数据带,来,来的变革,大数据的,商,商业价值,大数据的,运,运用案例,分,分析,大数据的,应,应用,通过用户,行,行为分析,实,实现精准,营,营销是大,数,数据的典,型,型应用，,但,但是大数,据,据在各行,各,各业特别,是,是公共服,务,务领域具,有,有广阔的,应,应用前景,消,费,费,行,行,业,业,金,融,融,服,服,务,务,食,品,品,安,安,全,全,医,疗,疗,卫,卫,生,生,军,事,事,交,通,通,环,环,保,保,电,子,子,商,商,务,务,气,象,象,1.,医,疗,疗,机,机,构,构,将,将,实,实,时,时,的,的,监,监,测,测,用,用,户,户,的,的,身,身,体,体,健,健,康,康,状,状,况,况,；,；,2.,教,育,育,机,机,构,构,更,更,有,有,针,针,对,对,的,的,制,制,定,定,用,用,户,户,喜,喜,欢,欢,的,的,教,教,育,育,培,培,训,训,计,计,划,划,；,；,3.,服,务,务,行,行,业,业,为,为,用,用,户,户,提,提,供,供,即,即,时,时,健,健,康,康,的,的,符,符,合,合,用,用,户,户,生,生,活,活,习,习,惯,惯,的,的,食,食,物,物,和,和,其,其,它,它,服,服,务,务,；,；,4.,社,交,交,网,网,络,络,能,能,为,为,你,你,提,提,供,供,合,合,适,适,的,的,交,交,友,友,对,对,象,象,，,，,并,并,为,为,志,志,同,同,道,道,合,合,的,的,人,人,群,群,组,组,织,织,各,各,种,种,聚,聚,会,会,活,活,动,动,；,；,5.,政,府,府,能,能,在,在,用,用,户,户,的,的,心,心,理,理,健,健,康,康,出,出,现,现,问,问,题,题,时,时,有,有,效,效,的,的,干,干,预,预,，,，,防,防,范,范,自,自,杀,杀,，,，,刑,刑,事,事,案,案,件,件,的,的,发,发,生,生,；,；,6.,金,融,融,机,机,构,构,能,能,帮,帮,助,助,用,用,户,户,进,进,行,行,有,有,效,效,的,的,理,理,财,财,管,管,理,理,，,，,为,为,用,用,户,户,的,的,资,资,金,金,提,提,供,供,更,更,有,有,效,效,的,的,使,使,用,用,建,建,议,议,和,和,规,规,划,划,；,；,7.,道,路,路,交,交,通,通,、,、,汽,汽,车,车,租,租,赁,赁,及,及,运,运,输,输,行,行,业,业,可,可,以,以,为,为,用,用,户,户,提,提,供,供,更,更,合,合,适,适,的,的,出,出,行,行,线,线,路,路,和,和,路,路,途,途,服,服,务,务,安,安,排,排,；,；,大,数,数,据,据,的,的,市,市,场,场,空,空,间,间,及,及,对,对,社,社,会,会,的,的,贡,贡,献,献,大,数,数,据,据,的,的,商,商,业,业,价,价,值,值,政,府,府,、,、,金,金,融,融,、,、,电,电,信,信,等,等,行,行,业,业,投,投,资,资,建,建,立,立,大,大,数,数,据,据,的,的,处,处,理,理,分,分,析,析,手,手,段,段,，,，,实,实,现,现,综,综,合,合,治,治,理,理,、,、,业,业,务,务,开,开,拓,拓,等,等,目,目,标,标,；,；,应,应,用,用,到,到,制,制,造,造,等,等,更,更,多,多,行,行,业,业,。,。,互,联,联,网,网,公,公,司,司,受,受,益,益,于,于,大,大,数,数,据,据,马,云,云,的,的,判,判,断,断,来,来,自,自,于,于,数,数,据,据,分,分,析,析,商,业,业,价,价,值,值,之,之,淘,宝,宝,双,“,“,十,十,一,一,”,”,背,背,后,后,的,的,技,技,术,术,讨,讨,论,论,用,户,户,行,行,为,为,分,分,析,析,中,国,国,工,工,程,程,院,院,院,院,士,士,邬,邬,贺,贺,铨,铨,说,说,道,道,，,，,“,智,慧,慧,城,城,市,市,是,是,使,使,用,用,智,智,能,能,计,计,算,算,技,技,术,术,使,使,得,得,城,城,市,市,的,的,关,关,键,键,基,基,础,础,设,设,施,施,的,的,组,组,成,成,和,和,服,服,务,务,更,更,智,智,能,能,、,、,互,互,联,联,和,和,有,有,效,效,，,，,随,随,着,着,智,智,慧,慧,城,城,市,市,的,的,建,建,设,设,，,，,社,社,会,会,将,将,步,步,入,入,“,大,数,数,据,据,”,时,代,代,。,。,”,智,慧,慧,政,政,务,务,智,慧,慧,交,交,通,通,智,慧,慧,电,电,网,网,智,慧,慧,教,教,育,育,智,慧,慧,医,医,疗,疗,公,共,共,管,管,理,理,部,部,门,门,受,受,益,益,于,于,大,大,数,数,据,据,根,据,据,国,国,家,家,信,信,息,息,中,中,心,心,信,信,息,息,化,化,研,研,究,究,部,部,统,统,计,计,，,，,目,目,前,前,我,我,国,国,提,提,出,出,智,智,慧,慧,城,城,市,市,建,建,设,设,的,的,城,城,市,市,总,总,数,数,已,已,达,达,到,到,154,个,，,，,预,预,计,计,投,投,资,资,规,规,模,模,超,超,过,过,1.5,万,亿,亿,元,元,。,智,慧,慧,城,城,市,市,必,必,将,将,产,产,生,生,大,大,数,数,据,据,，,，,利,利,用,用,大,大,数,数,据,据,的,的,思,思,维,维,来,来,改,改,变,变,公,公,共,共,管,管,理,理,部,部,门,门,的,的,形,形,象,象,。,。,医,疗,疗,可,可,利,利,用,用,多,多,种,种,大,大,数,数,据,据,手,手,段,段,临,床,床,操,操,作,作,1,、,疗,疗,效,效,比,比,较,较,研,研,究,究,2,、,临,临,床,床,决,决,策,策,支,支,持,持,系,系,统,统,3,、,医,医,疗,疗,数,数,据,据,透,透,明,明,度,度,4,、,远,远,程,程,医,医,疗,疗,监,监,护,护,5,、,针,针,对,对,患,患,者,者,情,情,况,况,的,的,先,先,进,进,分,分,析,析,付,款,款,/,定,价,价,1,、,自,自,动,动,化,化,系,系,统,统,2,、,医,医,保,保,系,系,统,统,研,发,发,1,、,预,预,测,测,模,模,型,型,2,、,改,改,进,进,临,临,床,床,试,试,验,验,设,设,计,计,的,的,统,统,计,计,工,工,具,具,和,和,算,算,法,法,3,、,临,临,床,床,实,实,验,验,数,数,据,据,分,分,析,析,4,、,个,个,体,体,化,化,医,医,疗,疗,5,、,疾,疾,病,病,模,模,式,式,分,分,析,析,新,业,业,务,务,模,模,型,型,1,、,患,患,者,者,临,临,床,床,记,记,录,录,和,和,需,需,求,求,数,数,据,据,的,的,聚,聚,合,合,2,、,在,在,线,线,平,平,台,台,和,和,社,社,区,区,公,共,共,卫,卫,生,生,医,疗,疗,行,行,业,业,受,受,益,益,于,于,大,大,数,数,据,据,电,子,子,病,病,历,历,医,疗,疗,行,行,业,业,产,产,生,生,大,大,数,数,据,据,（,（,电,电,子,子,病,病,历,历,）,）,，,，,利,利,用,用,大,大,数,数,据,据,的,的,思,思,维,维,将,将,会,会,给,给,医,医,疗,疗,行,行,业,业,带,带,来,来,变,变,革,革,。,。,旅,游,游,业,业,在,在,大,大,数,数,据,据,时,时,代,代,的,的,发,发,展,展,旅游业发展,趋,趋势是：网,络,络化、散客,化,化、大众化,。,。,在大数据时,代,代，必须运,用,用大数据思,维,维，推行旅,游,游的数字化,管,管理，开展,数,数字化营销,，,，为旅客提,供,供精准的个,性,性化服务。,制造业在大,数,数据时代的,发,发展,今后大数据,将,将成为继石,油,油之后的工,业,业新鲜血液,，,，对于大数,据,据的良好应,用,用，能够对,市,市场、销售,、,、生产等各,个,个部门产生,积,积极影响，,优,优化各个环,节,节的工作效,率,率,;,制造原理、,制,制造模式、,制,制造工艺和,生,生产工具都,将,将发生根本,性,性改变，以,前,前难以制造,的,的产品、实,现,现不了的功,能,能将获得突,破,破，网络式,创,创新将释放,全,全社会的创,新,新能量，产,品,品和技术变,革,革周期将显,著,著缩短。通,过,过对数据的,实,实时采集、,准,准确把握、,深,深度挖掘、,分,分析优化，,制,制造业将整,体,体再提升实,现,现转型升级,。,。,内容提示,认识大数据,大数据带来,的,的变革,大数据的商,业,业价值,大数据的运,用,用案例分析,穿孔卡片与,美,美国人口普,查,查,美国在,1880,年进行的人,口,口普查，耗,时,时,8,年才完成数,据,据汇总。因,此,此，他们获,得,得的很多数,据,据都是过时,的,的。,1890,年进行的人,口,口普查，预,计,计要花费,13,年的时间来,汇,汇总数据。,后来，美国,人,人口普查局,通,通过用赫尔,曼,曼,-,霍尔瑞斯发,明,明的穿孔卡,片,片制表机来,进,进行,1890,年的人口普,查,查，耗时一,年,年。,73,麻省理工与,通,通货紧缩预,测,测软件,美国劳工统,计,计局的人员,每,每个月都要,公,公布消费物,价,价指数（,CPI,），这是用,来,来测试通货,膨,膨胀率的。,政府通过人,工,工采集价格,信,信息数据每,年,年大概需要,花,花费两亿五,千,千万美元。,这,这些数据是,精,精确的也是,有,有序的，但,是,是数据往往,会,会有几周的,滞,滞后。,麻省理工学,院,院（,MIT,）的两位经,济,济学家，通,过,过一个软件,在,在互联网上,每,每天可以收,集,集到,50,万种商品的,价,价格，他们,能,能比官方数,据,据提前发现,通,通货紧缩趋,势,势。,74,Hitwise,，通过流量,判,判断消费者,喜,喜好,数据创新再,利,利用的一个,典,典型例子是,搜,搜索关键词,。,。,消费者和搜,索,索引擎之间,的,的瞬时交互,形,形成了一个,网,网站和广告,的,的列表，实,现,现了那一刻,的,的特定功能,。,。这些信息,除,除了实现基,本,本用途之外,，,，它还可以,变,变得非常有,价,价值。,如数据代理,益,益百利旗下,的,的网页流量,测,测量公司,Hitwise,，让客户采,集,集搜索流量,来,来揭示消费,者,者的喜好。,75,无所不包的,谷,谷歌翻译系,统,统,2006,年，谷歌公,司,司开始涉足,机,机器翻译。,这,这被当作实,现,现“收集全,世,世界的数据,资,资源，并让,人,人人都可享,受,受这些资源,”,”这个目标,的,的一个步骤,。,。,谷歌翻译利,用,用一个更大,更,更繁杂的数,据,据库，也就,是,是全球的互,联,联网。,谷歌翻译系,统,统为了训练,计,计算机，会,吸,吸收它能找,到,到的所有翻,译,译。它增加,了,了很多各种,各,各样的数据,，,，还接受了,有,有错误的数,据,据。,谷歌语料库,的,的内容来自,于,于未经过滤,的,的网页内容,，,，所以会包,含,含各种错误,。,。但谷歌语,料,料库是其他,语,语料库的好,几,几百万倍大,，,，这样的优,势,势完全压倒,了,了缺点,76,谷歌，从大,的,的“噪音”,数,数据中受益,谷歌知道人,们,们在搜索时,点,点击的是第,1,页的第,8,个链接还是,第,第,8,页的第,1,个链接，或,者,者是干脆放,弃,弃了所有搜,索,索点击。,谷歌就是依,据,据用户的点,击,击情况通过,排,排名算法自,动,动地在随后,的,的搜索中将,信,信息排位。,“数据废气,”,”：看似“,没,没用”的，,“,“错误”的,数,数据。,77,IBM,，电动汽车,动,动力与电力,供,供应系统优,化,化预测,基于大量的,信,信息输入，,如,如汽车的电,池,池电量、汽,车,车的位置、,一,一天中的时,间,间以及附近,充,充电站的可,用,用插槽等，,IBM,开发了一套,复,复杂的预测,模,模型。,它将这些数,据,据与电网的,电,电流消耗以,及,及历史功率,使,使用模式相,结,结合。通过,分,分析来自多,个,个数据源的,巨,巨大实时数,据,据流和历史,数,数据，能够,确,确定司机为,汽,汽车电池充,电,电的最佳时,间,间和地点，,并,并揭示充电,站,站的最佳设,置,置点。,78,物联网,物联网（,Internet of Things,，缩写,IOT,）是一个基,于,于互联网、,传,传统电信网,等,等信息承载,体,体，让所有,能,能够被独立,寻,寻址的普通,物,物理对象实,现,现互联互通,的,的网络。,在物联网上,，,，每个人都,可,可以应用电,子,子标签将真,实,实的物体上,网,网联结，在,物,物联网上都,可,可以查找出,它,它们的具体,位,位置。,通过物联网,可,可以用中心,计,计算机对机,器,器、设备、,人,人员进行集,中,中管理、控,制,制，也可以,对,对家庭设备,、,、汽车进行,遥,遥控，以及,搜,搜寻位置、,防,防止物品被,盗,盗等各种应,用,用。,79,RFID,技术,RFID,是,RadioFrequencyIdentification,的缩写，即,射,射频识别，,俗,俗称电子标,签,签。,RFID,是一种简单,的,的无线系统,，,，由一个询,问,问器,(,或阅读器,),和很多应答,器,器,(,或标签,),组成。该系,统,统用于控制,、,、检测和跟,踪,踪物体。,RFID,技术在超市,和,和图书馆中,的,的应用,80,车联网,未来车联网,技,技术将重新,定,定义汽车,DNA,。借助无线,通,通讯，城市,内,内车与车之,间,间，车与建,筑,筑之间，车,与,与人之间都,将,将建立更加,智,智能紧密的,互,互联。,通过装载在,车,车辆上的电,子,子标签利用,无,无线射频等,识,识别技术，,实,实现在信息,网,网络平台上,对,对所有车辆,的,的属性信息,和,和静、动态,信,信息进行提,取,取和有效利,用,用，并根据,不,不同的功能,需,需求对所有,车,车辆的运行,状,状态进行有,效,效的监管和,提,提供综合服,务,务。,81,无人驾驶,无人驾驶被,人,人认为是车,联,联网的终极,目,目标,无人驾驶车,依,依赖的技术,很,很多，比如,导,导航、雷达,、,、庞大数据,计,计算等，要,实,实现这些技,术,术需要和物,联,联网紧密结,合,合起来。,无人驾驶是,通,通过车载传,感,感系统感知,道,道路环境，,自,自动规划行,车,车路线并控,制,制车辆到达,预,预定目标的,智,智能汽车。,82,自动泊车系,统,统,自动泊车系,统,统，顾名思,义,义驾驶者双,手,手可以离开,方,方向盘，在,车,车辆停好之,前,前要做的只,是,是等待。,自动泊车系,统,统主要由两,部,部分组成：,控,控制单元和,位,位于前后保,险,险杠以及两,侧,侧的超声波,雷,雷达探头。,按动自动泊,车,车辅助系统,激,激活按钮之,后,后，雷达探,头,头可在车辆,行,行驶时对车,辆,辆两侧进行,扫,扫描。,控制单元对,雷,雷达反馈的,信,信息进行分,析,析，从而估,算,算出车位是,否,否足以容纳,车,车辆停放。,自动泊车系,统,统随后将通,过,过助力转向,系,系统对车辆,行,行驶方向进,行,行干预，并,以,以控制单元,规,规划好的路,径,径将车辆停,入,入车位。,83,日本先进工,业,业技术研究,院,院的坐姿研,究,究与汽车防,盗,盗系统,该研究所教,授,授把每个驾,车,车者的坐姿,量,量化为精确,的,的数据，使,其,其对司机识,别,别的正确率,高,高达,98%,。,这项技术作,为,为汽车防盗,系,系统，一旦,识,识别驾车者,不,不是车主，,就,就会自动熄,火,火。,这一技术还,可,可汇集事故,发,发生前驾车,者,者的姿势变,化,化数据，分,析,析坐姿与行,驶,驶安全的关,系,系，在司机,疲,疲劳驾驶时,发,发出警示或,自,自动刹车。,84,UPS,快递,大数据技术,下,下的最佳行,车,车路径,UPS,快递多效地,利,利用了地理,定,定位数据。,为,为了使总部,能,能在车辆出,现,现晚点的时,候,候跟踪到车,辆,辆的位置和,预,预防引擎故,障,障，它的货,车,车上装有传,感,感器、无线,适,适配器和,GPS,。同时，这,些,些设备也方,便,便了公司监,督,督管理员工,并,并优化行车,线,线路。,UPS,为货车定制,的,的最佳行车,路,路径是根据,过,过去的行车,经,经验总结而,来,来的。,2011,年，,UPS,的驾驶员少,跑,跑了近,4828,万公里的路,程,程，节省了,300,万加仑的燃,料,料并且减少,了,了,3,万公吨的二,氧,氧化碳排放,量,量。,85,UPS,与汽车修理,预,预测,UPS,国际快递公,司,司从,2000,年就开始使,用,用预测性分,析,析来监测自,己,己全美,60000,辆车规模的,车,车队，这样,就,就能及时地,进,进行防御性,的,的修理。,通过监测车,辆,辆的各个部,位,位，,UPS,只需要更换,需,需要更换的,零,零件，从而,节,节省了好几,百,百万美元。,86,“量化自我,”,”,通过一种非,干,干预的手段,，,，把一些所,谓,谓的医疗传,感,感器放到我,们,们的身边，,比,比如我们戴,一,一个腕表、,一,一枚戒指、,一,一个耳塞、,一,一副眼镜等,，,，通过这些,设,设备我们可,以,以了解自己,的,的心跳、血,压,压情况，甚,至,至包括我们,体,体表的健康,状,状况，从而,对,对一些大病,（,（如癫痫等,）,）进行早期,预,预测。,美国,Fitbit,公司近期就,推,推出了一款,免,免费的苹果,手,手机应用，,用,用户可用于,记,记录食物和,液,液体摄入量,，,，从而跟踪,其,其活动水平,和,和营养摄入,情,情况，通过,分,分析这些数,据,据可以很好,的,的控制体重,。,。,87,小儿床垫,通过床垫上,的,的压力与湿,度,度传感器分,析,析，来判断,小,小孩子有没,有,有比较严重,的,的打鼾或者,睡,睡姿不正确,等,等问题。,88,在线教育,如著名的在,线,线教育公司,Coursera,，已经和普,林,林斯顿、伯,克,克利、宾夕,法,法尼亚大学,等,等,30,多所大学合,作,作，在互联,网,网上免费开,放,放大学课程,分布在世界,各,各地的学习,者,者不仅可以,在,在同一时间,实,实时听取同,一,一位老师的,授,授课，还和,在,在校生一样,，,，做同样的,作,作业、接受,同,同样的评分,和,和考试。,在线教育是,一,一个“行为,评,评价和诱导,”,”的智能平,台,台,89,在线教育服,务,务,Knewton,在线教育服,务,务,Knewton,是大数据应,用,用于教育行,业,业的典型，,通,通过数据分,析,析区分出每,个,个学生的优,缺,缺点，从而,给,给学生有效,的,的指导。,美国最大的,公,公立大学亚,利,利桑那州公,立,立大学曾运,用,用这一系统,来,来提高学生,的,的数学水平,，,，全校,2000,名学生使用,该,该系统两学,期,期之后，该,大,大学的辍学,率,率下降了,56%,，毕业率从,64%,升高到,75%,。,90,购买飞机票,同一架飞机,上,上的座位，,票,票价却千差,万,万别，个中,原,原因，只有,航,航空公司知,道,道。,奥伦,-,埃齐奥尼开,发,发了一个系,统,统，用来推,测,测当前网页,上,上的机票价,格,格是否合理,，,，预测当前,的,的机票价格,在,在未来一段,时,时间内会上,涨,涨还是下降,，,，从而帮助,乘,乘客明智购,票,票。,这个预测系,统,统建立在,41,天内价格波,动,动产生的,12000,个价格样本,基,基础之上。,91,Farecast,是一个对机,票,票价格进行,预,预测的公司,，,，帮助消费,者,者抓住最佳,购,购买机票的,时,时机，使乘,客,客节省很多,钱,钱。,最初预测系,统,统建立在,41,天之内的,12000,个价格样本,基,基础上，数,据,据是从旅游,网,网站上抓取,的,的，如今已,经,经拥有超过,2000,亿条飞行记录,。,。,系统只推测机票的价格,何,何时最便宜,，,，不关心是什,么,么原因导致的价格,下,下降。,Farecast,Bing,航班延误之,候,候机经济学,美国建立了,一,一个统一的,数,数据开放门,户,户网站,Data.Gov,。,Data.Gov,上线以后，,美,美国交通部,开,开放了全美,航,航班起飞、,到,到达、延误,的,的数据。,航班延误时,间,间的分析系,统,统（,Flyontime.us,）：帮助消,费,费者找到表,现,现最佳，最,符,符合自己