大数据及其现实应用—讲座

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,大数据及其现实应用,管理学院,周功建,开放作业题目,结合自己的专业特点，写一篇大数据应用论文！,要求：,找准大数据在本专业的一个具体应用点进行展开，将自己设定为某公司的首席数据运营官，用大数据的思维帮助企业提高数据应用能力和业务分析水平。,讨论大数据的时点,上市时间,公司,创新,时代,鼎盛期,1996,雅虎,网页聚合,WEB1.0,8,年,2004,谷歌,主题词聚合,WEB1.5,8,年,2012,FACEBOOK,使用者聚合,WEB2.0,8,年？,2020,？,？,数据聚合？,WEB3.0,？,？,大数据热反映出人们在猜测追寻下一个大创新,内容提示,认识大数据,大数据带来的变革,大数据的商业价值,大数据的运用案例分析,迎接大数据时代到来的条件,硬件成本的降低,网络带宽的提升,云计算的兴起,网络技术的发展,智能终端的普及,电子商务、社交网络、电子地图等的全面应用,物联网,迎接大数据时代到来的条件,硬件成本的降低,网络带宽的提升,云计算的兴起,网络技术的发展,智能终端的普及,电子商务、社交网络、电子地图等的全面应用,物联网,迎接大数据时代到来的条件,硬件成本的降低,网络带宽的提升,云计算的兴起,网络技术的发展,智能终端的普及,电子商务、社交网络、电子地图等的全面应用,物联网,迎接大数据时代到来的条件,硬件成本的降低,网络带宽的提升,云计算的兴起,网络技术的发展,智能终端的普及,电子商务、社交网络、电子地图等的全面应用,物联网,迎接大数据时代到来的条件,硬件成本的降低,网络带宽的提升,云计算的兴起,网络技术的发展,智能终端的普及,电子商务、社交网络、电子地图等的全面应用,物联网,迎接大数据,时,时代到来的,条,条件,硬件成本的,降,降低,网络带宽的,提,提升,云计算的兴,起,起,网络技术的,发,发展,智能终端的,普,普及,电子商务、,社,社交网络、,电,电子地图等,的,的全面应用,物联网,迎接大数据,时,时代到来的,条,条件,硬件成本的,降,降低,网络带宽的,提,提升,云计算的兴,起,起,网络技术的,发,发展,智能终端的,普,普及,电子商务、,社,社交网络、,电,电子地图等,的,的全面应用,物联网,如今，我们,处,处在大数据,时,时代,当前互联网,条,条件下大数,据,据的典型代,表,表,1-,用户行为数,据,据,（,精准广告投,放,放、内容推,荐,荐、行为习,惯,惯和喜好分,析,析、产品优,化,化等,）,2-,用户消费数,据,据,（,精准营销、,信,信用记录分,析,析、活动促,销,销、理财等,）,3-,用户地理位,置,置数据,（,o2o,推广，商家,推,推荐，交友,推,推荐等,）,4-,互联网金融,数,数据,（,P2P,，小额贷款,，,，支付，信,用,用，供应链,金,金融等）,5-,用户社交数,据,据,（趋势分析,、,、流行元素,分,分析、受欢,迎,迎程度分析,、,、舆论监控,分,分析、社会,问,问题分析等,）,拥抱大数据,什么是大数,据,据,百度百科,：大数据,(bigdata),，或称巨量,资,资料，指的,是,是所涉及的,资,资料量,规模巨大,到无法透过,目,目前主流软,件,件工具，在,合,合理时间内,达,达到撷取、,管,管理、处理,、,、并整理成,为,为帮助企业,经,经营决策更,积,积极目的的,资讯,。,维基百科,：,大数据是由,数,数量巨大、,结,结构复杂、,类,类型众多数,据,据构成的,数据集合,，是基于云,计,计算的数据,处,处理与应用,模,模式，通过,数,数据的整合,共,共享，交叉,复,复用形成的,智力资源,和,知识服务,能力。,我的观点,：大数据是,由,由大量异构,的,的数据组成,的,的,数据集合,，它是可以,应,应用合理的,数,数学算法或,工,工具从中找,出,出有价值的,信,信息，为人,们,们带来利益,的,的一门,新兴学科,。,大数据,与,传统数据,的区别？,小明去了一,百,百次书店,传统数据：要回答的问,题,题是他第一,百,百零一次买,不,不买书，即,业,业绩和经营,指,指标的问题,；,；,大数据：要回答的是,他,他第一百零,一,一次买什么,书,书，需要将,什,什么样的内,容,容推荐给他,。,。,群体和个体,的,的区别,传统定义上,，,，更多关注的,是,是一类人群,，,，用同一类,规,规则制订套,餐,餐给他们；,互联网时代,，,，要把每个人,都,都精准刻画,出,出来，进行,精,精准匹配。,19,大数据,与,传统数据库,的区别,大数据是在,传,传统数据库,学,学科的分支,数据仓库与,数,数据挖掘的,基,基础上进一,步,步发展起来,的,的。但有两,点,点比较主要,的,的不同：,结构化程度,传统数据库,保存的是结,构,构化或者半,结,结构化的数,据,据，以二维,表,表或者标准,XML,文件的方式,存,存储数据，,由,由于结构清,晰,晰，处理相,对,对容易；,大数据,面向的是一,切,切计算机可,以,以存储的数,据,据格式，包,括,括互联网上,的,的各种网页,、,、图片、音,频,频、视频，,包,包括办公文,档,档、报表，,包,包括人们在,搜,搜索引擎中,输,输入的关键,词,词、在社交,网,网络中的留,言,言、喜好，,也,也包括各种,传,传感器自动,收,收集的监控,结,结果等等，,显,显然不同的,格,格式处理起,来,来更加困难,。,。,异常数据的,处,处理,传统数据库,通常把异常,数,数据先剔除,，,，应用在需,要,要高精确度,的,的领域，如,银,银行对每个,账,账户的管理,；,；,大数据,则允许异常,数,数据存在，,更,更多应用在,预,预测方面，,找,找出大量数,据,据中隐藏的,关,关联关系，,少,少量异常数,据,据不会对总,体,体结果产生,影,影响。,理解大数据,大数据,=,海量数据,+,复杂类型的,数,数据,大数据包括,：,：,交易数据和,交,交互数据集,在,在内的所有,数,数据集,大数据的构,成,成,海量交易数,据,据：,企业内部的,经,经营交易信,息,息主要包括,联,联机交易数,据,据和联机分,析,析数据，是,结,结构化的、,通,通过关系数,据,据库进行管,理,理和访问的,静,静态、历史,数,数据。通过,这,这些数据，,我,我们能了解,过,过去发生了,什,什么。,海量交互,数,数据：,源于,Facebook,、,Twitter,、,LinkedIn,及其他来,源,源的社交,媒,媒体数据,构,构成。它,包,包括了呼,叫,叫详细记,录,录,CDR,、设备和,传,传感器信,息,息、,GPS,和地理定,位,位映射数,据,据、通过,管,管理文件,传,传输,Manage FileTransfer,协议传送,的,的海量图,像,像文件、,Web,文本和点,击,击流数据,、,、科学信,息,息、电子,邮,邮件等等,。,。可以告,诉,诉我们未,来,来会发生,什,什么。,海量数据,处,处理：,大数据的,涌,涌现已经,催,催生出了,设,设计用于,数,数据密集,型,型处理的,架,架构。例,如,如具有开,放,放源码、,在,在商品硬,件,件群中运,行,行的,Apache Hadoop,。,“大量化,(Volume),、多样化,(Variety),、快速化,(Velocity),、价值密,度,度低（,Value,）”就是,“,“大数据,”,”的显著,特,特征，或,者,者说，只,有,有具备这,些,些特点的,数,数据，才,是,是大数据,。,。,Volume,Velocity,Value,Variety,大数据的,4V,特征,Value,价值,挖掘大数,据,据的价值,类,类似沙里,淘,淘金,从海量数,据,据中挖掘,稀,稀疏但珍,贵,贵的信息,.,价值密度,低,低,是大数据,的,的一个典,型,型特征,.,Variety,多样性,企业内部,的,的经营交,易,易信息,;,物联网世,界,界中商品,物流信息,;,互联网世,界,界中人与,人,人交互信,息,息,位置信息,等,等是大数,据,据的主要,来,来源,.,能够在不,同,同的数据,类,类型中,进行交叉,分,分析的技,术,术,是大数据,的,的核心技,术,术之一,.,语义分析,技,技术,图文转换,技,技术,模式识别,技,技术,地理信息,技,技术等,都会在大,数,数据分析,时,时获得应,用,用,.,Social Media,Machine / Sensor,DOC / Media,Web,Clickstream,Apps,Call Log,Log,结构化、,半结构化,、,非结构化,数,数据,Velocity,速度,1s,是临界点,.,对于大数,据,据应用而,言,言,必须要在,1,秒钟内形,成,成答案,否则处理,结,结果就是,过,过时和无,效,效的,.,实时处理,的,的要求,是区别大,数,数据引用,和,和传统数,据,据仓库技,术,术,BI,技术的关,键,键差别之,一,一,.,Volume,数据量,PB,是大数据,層,層次的临,界,界点,.,KB,-,MB,-,GB,-,TB,-,PB,-,EB,-,ZB,-,YB,-,NB,-,DB,大数据的,储,储存与处,理,理,/,运算,大数据储,存,存,大数据处,理,理,数据分享,数据检索,数据分析,数据展现,分布式软,件,件架构,并行计算,框,框架,分布式存,储,储,横向扩容,(Scale-out),架构,和大数据,相,相关的技,术,术,大数据必,然,然无法用,单,单台的计,算,算机进行,处,处理，必,须,须采用,分布式架,构,构,。,对海量数,据,据进行分,布,布式数据,挖,挖掘，必,须,须依托云,计,计算的,分布式处,理,理,、,分布式数,据,据库,和,云存储,、,虚拟化技,术,术,。,1.,云计算,云计算是分布式处,理,理,(DistributedComputing),、,并行处理,(Parallel Computing),和网格计算,(Grid Computing),的发展，,是,是,透过网络,将,将庞大的,计,计算处理,程,程序自动,分,分拆成无,数,数个较小,的,的子程序,，,，再交由,多,多部服务,器,器所组成,的,的庞大系,统,统经计算,分,分析之后,将,将处理结,果,果回传给,用,用户。,*云计,算,算与大数,据,据的区分,：,：,第一，,在概念上,两者有所,不,不同，云,计,计算改变,了,了,IT,，而大数,据,据则改变,了,了业务。,然,然而大数,据,据必须有,云,云作为基,础,础架构，,才,才能得以,顺,顺畅运营,。,。,第二，大,数,数据和云,计,计算的,目标受众,不同，云,计,计算是,CIO,等关心的,技,技术层，,是,是一个进,阶,阶的,IT,解决方案,。,。而大数,据,据是,CEO,关注的、,是,是业务层,的,的产品，,而,而大数据,的,的决策者,是,是业务层,。,。,2.,分布式处,理,理技术,Hadoop,是一个实,现,现了,MapReduce,模式的能,够,够对大量,数,数据进行,分,分布式处,理,理的软件,框,框架。,HDFS:,Hadoop,分布式文,件,件系统,(DistributedFile System),MapReduce,：,并行计算,框,框架,HBase:,类似,Google BigTable,的分布式,NoSQL,列数据库,。,。,Hive,：,数据仓库,工,工具，由,Facebook,贡献。,Zookeeper,：,分布式锁,设,设施，提,供,供类似,Google Chubby,的功能，,由,由,Facebook,贡献。,Avro,：,新的数据,序,序列化格,式,式与传输,工,工具，将,逐,逐步取代,Hadoop,原有的,IPC,机制。,Pig:,大数据分,析,析平台，,为,为用户提,供,供多种接,口,口。,Ambari,：,Hadoop,管理工具,，,，可以快,捷,捷的监控,、,、部署、,管,管理集群,。,。,Sqoop,：,用于在,Hadoop,与传统的,数,数据库间,进,进行数据,的,的传递,3.,云存储,云存储是,在,在云计算,(cloud computing),概念上延,伸,伸和发展,出,出来的一,个,个新的概,念,念，是一,种,种新兴的,网,网络存储,技,技术，是,指,指,通过集群应用、网络技术或分布式文,件,件系统等功能，,将,将网络中,大,大量各种,不,不同类型,的,的存储设,备,备通过应,用,用软件集,合,合起来协,同,同工作，,共,共同对外,提,提供数据存储和业务访,问,问功能的,一,一个系统,。,。,淘宝的大,数,数据技术,架,架构,参考资料,推,推荐,延深阅读,150,年后，当,互,互联网将,这,这个世界,紧,紧密连接,起,起来的时,候,候，新的,物,物种诞生,了,了,。,我们称之,为,为生命的,信,信息过程,数,数十亿年,前,前控制了,地,地球的大,气,气层。现,在,在，另一,个,个信息过,程,程,科技元素,，,，正在重,新,新征服地,球,球。,最需要读,这,这本书的,，,，应该是,打,打价格战,打,打晕了头,，,，占领市,场,场醒后却,发,发现没有,利,利润的商,人,人；或者,是,是想以数,字,字技术新,法,法取胜，,希,希望像乔,布,布斯那样,赢,赢的雄心,勃,勃勃的年,轻,轻人。,大数据能,给,给我们带,来,来什么？,？,内容提示,认识大数,据,据,大数据带,来,来的变革,大数据的,商,商业价值,大数据的,运,运用案例,分,分析,一,.,大数据带,来,来全新的生活方式,大数据时,代,代的物联,网,网，带给,我,我们智能,家,家居。,大数据带,来,来全新的生活方式,购物：,不受时空,限,限制，随,时,时随地购,物,物。,在看不到,商,商品的情,况,况下，口,碑,碑就是质,量,量。,大数据带,来,来全新的生活方式,旅行：,足不出户,，,，安排好,一,一切。,大数据带,来,来全新的生活方式,信息：,人人都是,传,传媒。,大数据带,来,来全新的生活方式,社交：,你所有的,朋,朋友都能,在,在网络上,找,找到。,二,.,大数据带,来,来全新的思维方式,1.,分析事物,时,时，依赖,该,该事物的,所,所有数据,，,，不再是,进,进行样本,分,分析。,2.,在大数据,时,时代，允,许,许不精确,。,。,3.,更注重相,关,关关系，,而,而不是因,果,果关系。,1.,“更多”,不是随机,样,样本，而,是,是全体数,据,据,当数据处,理,理技术已,经,经发生翻,天,天覆地的,变,变化时，,在,在大数据,时,时代进行,抽,抽样分析,就,就像在汽,车,车时代骑,马,马一样。,一,一切都改,变,变了，我,们,们需要的,是,是所有的,数,数据，“,样,样本总,体,体”。,让数据“,发,发声”,小数据时,代,代的随机,采,采样，最,少,少的数据,获,获得最多,的,的信息,全数据模,式,式，样本,总体,大数据带,来,来全新的思维方式,2.,“更杂”,不是精确,性,性，而是,混,混杂性,执迷于精,确,确性是信,息,息缺乏时,代,代和模拟,时,时代的产,物,物。只有,5%,的数据是,有,有框架且,能,能适用于,传,传统数据,库,库的。如,果,果不能接,受,受混乱，,剩,剩下,95%,的非框架,数,数据都无,法,法被利用,，,，只有接,受,受不精确,性,性，我们,才,才能打开,一,一扇从未,涉,涉足的世,界,界的窗户,。,。,允许不精,确,确,大数据的,简,简单算法,比,比小数据,的,的复杂算,法,法更有效,纷繁的数,据,据越多越,好,好,混杂性，,不,不是竭力,避,避免，而,是,是标准途,径,径,新的数据,库,库设计的,诞,诞生,大数据带,来,来全新的思维方式,3.,“更好”,不是因果,关,关系，而,是,是相关关,系,系,知道“是,什,什么”就,够,够了，没,必,必要知道,“,“为什么,”!,在大数据,时,时代，我,们,们不必非,得,得知道现,象,象背后的,原,原因，而,是,是要让数,据,据自己“,发,发声”。,关联物，,预,预测的关,键,键,“是什么,”,”，而不,是,是“为什,么,么”,改变，从,操,操作方式,开,开始,大数据，,改,改变人类,探,探索世界,的,的方法,大数据带,来,来全新的思维方式,1.,“数据化,”,”,一切皆可,“,“量化”,大数据发,展,展的核心,动,动力来源,于,于人类测,量,量、记录,和,和分析世,界,界的渴望,。,。信息技,术,术变革随,处,处可见，,但,但是如今,信,信息技术,变,变革的重,点,点在“,T,”（技术,）,）上，而,不,不是在“,I”(,信息）上,。,。现在，,我,我们是时,候,候把聚光,灯,灯打向“,I,”，开始,关,关注信息,本,本身了。,数据，从,最,最不可能,的,的地方提,取,取出来,数据化，,不,不是数字,化,化,量化一切,，,，数据化,的,的核心,当文字变,成,成数据,当方位变,成,成数据,当沟通成,为,为数据,一切事物,的,的数据化,三,.,大数据带,来,来新的商业变革,2.,“价值”,“取之不,尽,尽，用之,不,不竭”的,数,数据创新,数据就像,一,一个神奇,的,的钻石矿,，,，当它的,首,首要价值,被,被发掘后,仍,仍能不断,给,给予。它,的,的真实价,值,值就像漂,浮,浮在海洋,中,中的冰山,，,，第一眼,只,只能看到,冰,冰山的一,角,角，而绝,大,大部分都,隐,隐藏在表,面,面之下。,数据创新,1,：数据的,再,再利用,数,据,据,创,创,新,新,2,：,重,重,组,组,数,数,据,据,数,据,据,创,创,新,新,3,：,可,可,扩,扩,展,展,数,数,据,据,数,据,据,创,创,新,新,4,：,数,数,据,据,的,的,折,折,旧,旧,值,值,数,据,据,创,创,新,新,5,：,数,数,据,据,废,废,气,气,数,据,据,创,创,新,新,6,：,开,开,放,放,数,数,据,据,给,数,数,据,据,估,估,值,值,大,数,数,据,据,带,带,来,来,新,新,的,的商,业,业,变,变,革,革,3.,“,角,角,色,色,定,定,位,位,”,”,数,据,据,、,、,技,技,术,术,与,与,思,思,维,维,的,的,三,三,足,足,鼎,鼎,立,立,微,软,软,以,以,1.1,亿,美,美,元,元,的,的,价,价,格,格,购,购,买,买,了,了,大,大,数,数,据,据,公,公,司,司,Farecast,，,而,而,两,两,年,年,后,后,谷,谷,歌,歌,则,则,以,以,7,亿,美,美,元,元,的,的,价,价,格,格,购,购,买,买,了,了,给,给,Farecast,提,供,供,数,数,据,据,的,的,ITASoftware,公,司,司,。,。,如,如,今,今,，,，,我,我,们,们,正,正,处,处,在,在,大,大,数,数,据,据,时,时,代,代,的,的,早,早,期,期,，,，,思,思,维,维,和,和,技,技,术,术,是,是,最,最,有,有,价,价,值,值,的,的,，,，,但,但,是,是,最,最,终,终,大,大,部,部,分,分,价,价,值,值,还,还,是,是,必,必,须,须,从,从,数,数,据,据,本,本,身,身,来,来,挖,挖,掘,掘,。,。,大,数,数,据,据,价,价,值,值,的,的,3,大,构,构,成,成,大,数,数,据,据,掌,掌,控,控,公,公,司,司,大,数,数,据,据,技,技,术,术,公,公,司,司,大,数,数,据,据,思,思,维,维,公,公,司,司,和,和,个,个,人,人,全,新,新,的,的,数,数,据,据,中,中,间,间,商,商,专,家,家,的,的,消,消,亡,亡,与,与,数,数,据,据,科,科,学,学,家,家,的,的,崛,崛,起,起,大,数,数,据,据,，,，,决,决,定,定,企,企,业,业,的,的,竞,竞,争,争,力,力,大,数,数,据,据,带,带,来,来,新,新,的,的商,业,业,变,变,革,革,大,数,数,据,据,价,价,值,值,链,链,的,的,三,三,种,种,存,存,在,在,模,模,式,式,数,据,据,数,据,据,的,的,掌,掌,控,控,者,者,，,，,拥,拥,有,有,或,或,者,者,可,可,以,以,收,收,集,集,大,大,量,量,数,数,据,据,的,的,公,公,司,司,。,。,海,海,量,量,的,的,数,数,据,据,就,就,是,是,财,财,富,富,，,，,可,可,以,以,考,考,虑,虑,自,自,己,己,分,分,析,析,或,或,者,者,卖,卖,数,数,据,据,给,给,其,其,他,他,公,公,司,司,。,。,金,融,融,机,机,构,构,，,，,电,电,信,信,行,行,业,业,，,，,政,政,府,府,机,机,构,构,等,等,。,。,技,术,术,技,术,术,供,供,应,应,商,商,或,或,者,者,分,分,析,析,公,公,司,司,。,。,掌,掌,握,握,了,了,从,从,海,海,量,量,数,数,据,据,中,中,分,分,析,析,出,出,有,有,用,用,信,信,息,息,的,的,技,技,能,能,或,或,者,者,工,工,具,具,，,，,但,但,本,本,身,身,不,不,一,一,定,定,拥,拥,有,有,数,数,据,据,。,。,IBM,，,Oracle,等,。,思,维,维,有,创,创,新,新,思,思,维,维,的,的,人,人,或,或,者,者,公,公,司,司,。,。,他,他,们,们,对,对,大,大,数,数,据,据,敏,敏,感,感,，,，,有,有,怎,怎,样,样,挖,挖,掘,掘,数,数,据,据,的,的,新,新,价,价,值,值,的,的,独,独,特,特,想,想,法,法,。,。,Google,，,Amazon,等,。,。,Netflix,并,不,不,是,是,任,任,何,何,一,一,个,个,电,电,视,视,台,台,，,，,而,而,是,是,电,电,视,视,台,台,和,和,电,电,影,影,院,院,的,的,平,平,台,台,，,，,是,是,北,北,美,美,最,最,大,大,的,的,付,付,费,费,订,订,阅,阅,视,视,频,频,网,网,站,站,。,。,基,基,于,于,其,其,3000,万,北,北,美,美,用,用,户,户,观,观,看,看,视,视,频,频,时,时,留,留,下,下,的,的,行,行,为,为,数,数,据,据,，,，,预,预,测,测,出,出,凯,凯,文,文,史,派,派,西,西,、,、,大,大,卫,卫,芬,奇,奇,和,和,“,BBC,出,品,品,”,三,种,种,元,元,素,素,结,结,合,合,在,在,一,一,起,起,的,的,电,电,视,视,剧,剧,产,产,品,品,将,将,会,会,大,大,火,火,特,特,火,火,。,。,此,此,外,外,，,，,Netflix,还,通,通,过,过,“,大,数,数,据,据,”,观,测,测,到,到,另,另,一,一,流,流,行,行,趋,趋,势,势,：,：,越,越,来,来,越,越,多,多,的,的,人,人,不,不,再,再,像,像,30,年,前,前,那,那,样,样,，,，,在,在,固,固,定,定,晚,晚,上,上,的,的,固,固,定,定,时,时,刻,刻,守,守,在,在,电,电,视,视,机,机,前,前,，,，,等,等,着,着,收,收,看,看,电,电,视,视,剧,剧,的,的,最,最,新,新,剧,剧,集,集,，,，,而,而,是,是,“,攒,”,起,来,来,，,，,直,直,到,到,整,整,季,季,剧,剧,情,情,全,全,部,部,播,播,放,放,完,完,毕,毕,之,之,后,后,，,，,才,才,选,选,一,一,个,个,自,自,己,己,方,方,便,便,的,的,时,时,间,间,段,段,和,和,地,地,点,点,，,，,在,在,方,方,便,便,的,的,设,设,备,备,（,（,多,多,数,数,是,是,网,网,络,络,设,设,备,备,，,，,如,如,电,电,脑,脑,、,、,iPad,）,上,上,一,一,次,次,性,性,观,观,看,看,。,。,纸,牌,牌,屋,屋,的,数,数,据,据,库,库,包,包,含,含,了,了,3000,万,用,用,户,户,的,的,收,收,视,视,选,选,择,择,、,、,400,万条评,论,论、,300,万次主,题,题搜索,。,。最终,，,，拍什,么,么、谁,来,来拍、,谁,谁来演,、,、怎么,播,播，都,由,由数千,万,万观众,的,的客观,喜,喜好统,计,计决定,。,。从受,众,众洞察,、,、受众,定,定位、,受,受众接,触,触到受,众,众转化,，,，每一,步,步都由,精,精准细,致,致高效,经,经济的,数,数据引,导,导，从,而,而实现,大,大众创,造,造的,C2B,，即由,用,用户需,求,求决定,生,生产。,1.,“风险,”,”,让数据,主,主宰一,切,切的隐,忧,忧,我们时,刻,刻都暴,露,露在“,第,第三只,眼,眼”之,下,下：亚,马,马逊监,视,视着我,们,们的购,物,物习惯,，,，谷歌,监,监视着,我,我们的,网,网页浏,览,览习惯,，,，而微,博,博似乎,什,什么都,知,知道，,不,不仅窃,听,听到了,我,我们心,中,中的“,TA,”，还,有,有我们,的,的社交,关,关系网,。,。,无处不,在,在的“,第,第三只,眼,眼”,我们的,隐,隐私被,二,二次利,用,用了,预测与,惩,惩罚，,不,不是因,为,为“所,做,做”，,而,而是因,为,为“将,做,做”,数据独,裁,裁,挣脱大,数,数据的,困,困境,四,.,大数据,带,带来新,的,的管理变,革,革,2.,“掌控,”,”,责任与,自,自由并,举,举的信,息,息管理,当世界,开,开始迈,向,向大数,据,据时代,时,时，社,会,会也将,经,经历类,似,似的地,壳,壳运动,。,。在改,变,变人类,基,基本的,生,生活与,思,思考方,式,式的同,时,时，大,数,数据早,已,已在推,动,动人类,信,信息管,理,理准则,上,上重新,定,定位。,然,然而，,不,不同于,印,印刷革,命,命，我,们,们没有,几,几个世,纪,纪的时,间,间去适,应,应，我,们,们也许,只,只有几,年,年时间,。,。,管理变,革,革,1,：个人,隐,隐私保,护,护，从,个,个人许,可,可到让,数,数据使,用,用者承,担,担责任,管理变,革,革,2,：个人,动,动因,VS,预测分,析,析,管理变,革,革,3,：击碎,黑,黑盒子,，,，大数,据,据程序,员,员的崛,起,起,管理变,革,革,4,：反数,据,据垄断,大,大亨,大数据,带,带来新,的,的管理变,革,革,3.,全新的,管,管理模,式,式,除了上,帝,帝，任,何,何人都,必,必须用,数,数据来,说,说话。,案例：,google,的设计,师,师,卓越的,管,管理者,必,必须要,利,利用数,据,据进行,决,决策。,案例：,克强指,数,数,问题一,：,：数据,从,从哪里,来,来？,问题二,：,：数据,怎,怎么用,？,？,大数据,带,带来新,的,的管理变,革,革,内容提,示,示,认识大,数,数据,大数据,带,带来的,变,变革,大数据,的,的商业,价,价值,大数据,的,的运用,案,案例分,析,析,大数据,的,的应用,通过用,户,户行为,分,分析实,现,现精准,营,营销是,大,大数据,的,的典型,应,应用，,但,但是大,数,数据在,各,各行各,业,业特别,是,是公共,服,服务领,域,域具有,广,广阔的,应,应用前,景,景,消费行,业,业,金融服,务,务,食品安,全,全,医疗卫,生,生,军事,交通环,保,保,电子商,务,务,气象,1.,医疗机,构,构将实,时,时的监,测,测用户,的,的身体,健,健康状,况,况；,2.,教育机,构,构更有,针,针对的,制,制定用,户,户喜欢,的,的教育,培,培训计,划,划；,3.,服务行,业,业为用,户,户提供,即,即时健,康,康的符,合,合用户,生,生活习,惯,惯的食,物,物和其,它,它服务,；,；,4.,社交网,络,络能为,你,你提供,合,合适的,交,交友对,象,象，并,为,为志同,道,道合的,人,人群组,织,织各种,聚,聚会活,动,动；,5.,政府能,在,在用户,的,的心理,健,健康出,现,现问题,时,时有效,的,的干预,，,，防范,自,自杀，,刑,刑事案,件,件的发,生,生；,6.,金融,机,机构,能,能帮,助,助用,户,户进,行,行有,效,效的,理,理财,管,管理,，,，为,用,用户,的,的资,金,金提,供,供更,有,有效,的,的使,用,用建,议,议和,规,规划,；,；,7.,道路,交,交通,、,、汽,车,车租,赁,赁及,运,运输,行,行业,可,可以,为,为用,户,户提,供,供更,合,合适,的,的出,行,行线,路,路和,路,路途,服,服务,安,安排,；,；,大数,据,据的,市,市场,空,空间,及,及对,社,社会,的,的贡,献,献,大数,据,据的,商,商业,价,价值,政府,、,、金,融,融、,电,电信,等,等行,业,业投,资,资建,立,立大,数,数据,的,的处,理,理分,析,析手,段,段，,实,实现,综,综合,治,治理,、,、业,务,务开,拓,拓等,目,目标,；,；应,用,用到,制,制造,等,等更,多,多行,业,业。,互联,网,网公,司,司受,益,益于,大,大数,据,据,马云,的,的判,断,断来,自,自于,数,数据,分,分析,商业,价,价值,之,之,淘宝,双“,十,十一,”,”背,后,后的,技,技术,讨,讨论,用户,行,行为,分,分析,中国,工,工程,院,院院,士,士邬,贺,贺铨,说,说道,，,，,“,智慧,城,城市,是,是使,用,用智,能,能计,算,算技,术,术使,得,得城,市,市的,关,关键,基,基础,设,设施,的,的组,成,成和,服,服务,更,更智,能,能、,互,互联,和,和有,效,效，,随,随着,智,智慧,城,城市,的,的建,设,设，,社,社会,将,将步,入,入,“,大数,据,据,”,时代,。,。,”,智慧,政,政务,智慧,交,交通,智慧,电,电网,智慧,教,教育,智慧,医,医疗,公共,管,管理,部,部门,受,受益,于,于大,数,数据,根据,国,国家,信,信息,中,中心,信,信息,化,化研,究,究部,统,统计,，,，目,前,前我,国,国提,出,出智,慧,慧城,市,市建,设,设的,城,城市,总,总数,已,已达,到,到,154,个，,预,预计,投,投资,规,规模,超,超过,1.5,万亿,元,元,。,智慧,城,城市,必,必将,产,产生,大,大数,据,据，,利,利用,大,大数,据,据的,思,思维,来,来改,变,变公,共,共管,理,理部,门,门的,形,形象,。,。,医疗,可,可利,用,用多,种,种大,数,数据,手,手段,临床,操,操作,1,、疗,效,效比,较,较研,究,究,2,、临,床,床决,策,策支,持,持系,统,统,3,、医,疗,疗数,据,据透,明,明度,4,、远,程,程医,疗,疗监,护,护,5,、针,对,对患,者,者情,况,况的,先,先进,分,分析,付款,/,定价,1,、自,动,动化,系,系统,2,、医,保,保系,统,统,研发,1,、预,测,测模,型,型,2,、改,进,进临,床,床试,验,验设,计,计的,统,统计,工,工具,和,和算,法,法,3,、临,床,床实,验,验数,据,据分,析,析,4,、个,体,体化,医,医疗,5,、疾,病,病模,式,式分,析,析,新业,务,务模,型,型,1,、患,者,者临,床,床记,录,录和,需,需求,数,数据,的,的聚,合,合,2,、在,线,线平,台,台和,社,社区,公共,卫,卫生,医疗,行,行业,受,受益,于,于大,数,数据,电子,病,病历,医疗,行,行业,产,产生,大,大数,据,据（,电,电子,病,病历,）,），,利,利用,大,大数,据,据的,思,思维,将,将会,给,给医,疗,疗行,业,业带,来,来变,革,革。,旅游,业,业在,大,大数,据,据时,代,代的,发,发展,旅游,业,业发,展,展趋,势,势是,：,：网,络,络化,、,、散,客,客化,、,、大,众,众化,。,。,在大,数,数据,时,时代,，,，必,须,须运,用,用大,数,数据,思,思维,，,，推,行,行旅,游,游的,数,数字,化,化管,理,理，,开,开展,数,数字,化,化营,销,销，,为,为旅,客,客提,供,供精,准,准的,个,个性,化,化服,务,务。,制造,业,业在,大,大数,据,据时,代,代的,发,发展,今后,大,大数,据,据将,成,成为,继,继石,油,油之,后,后的,工,工业,新,新鲜,血,血液,，,，对,于,于大,数,数据,的,的良,好,好应,用,用，,能,能够,对,对市,场,场、,销,销售,、,、生,产,产等,各,各个,部,部门,产,产生,积,积极,影,影响,，,，优,化,化各,个,个环,节,节的,工,工作,效,效率,;,制造,原,原理,、,、制,造,造模,式,式、,制,制造,工,工艺,和,和生,产,产工,具,具都,将,将发,生,生根,本,本性,改,改变,，,，以,前,前难,以,以制,造,造的,产,产品,、,、实,现,现不,了,了的,功,功能,将,将获,得,得突,破,破，,网,网络,式,式创,新,新将,释,释放,全,全社,会,会的,创,创新,能,能量,，,，产,品,品和,技,技术,变,变革,周,周期,将,将显,著,著缩,短,短。,通,通过,对,对数,据,据的,实,实时,采,采集,、,、准,确,确把,握,握、,深,深度,挖,挖掘,、,、分,析,析优,化,化，,制,制造,业,业将,整,整体,再,再提,升,升实,现,现转,型,型升,级,级。,内容,提,提示,认识,大,大数,据,据,大数,据,据带,来,来的,变,变革,大数,据,据的,商,商业,价,价值,大数,据,据的,运,运用,案,案例,分,分析,穿孔,卡,卡片,与,与美,国,国人,口,口普,查,查,美国,在,在,1880,年进,行,行的,人,人口,普,普查,，,，耗,时,时,8,年才,完,完成,数,数据,汇,汇总,。,。因,此,此，,他,他们,获,获得,的,的很,多,多数,据,据都,是,是过,时,时的,。,。,1890,年进,行,行的,人,人口,普,普查,，,，预,计,计要,花,花费,13,年的,时,时间,来,来汇,总,总数,据,据。,后来,，,，美,国,国人,口,口普,查,查局,通,通过,用,用赫,尔,尔曼,-,霍尔,瑞,瑞斯,发,发明,的,的穿,孔,孔卡,片,片制,表,表机,来,来进,行,行,1890,年的,人,人口,普,普查,，,，耗,时,时一,年,年。,73,麻省,理,理工,与,与通,货,货紧,缩,缩预,测,测软,件,件,美国,劳,劳工,统,统计,局,局的,人,人员,每,每个,月,月都,要,要公,布,布消,费,费物,价,价指,数,数（,CPI,），,这,这是,用,用来,测,测试,通,通货,膨,膨胀,率,率的,。,。,政府,通,通过,人,人工,采,采集,价,价格,信,信息,数,数据,每,每年,大,大概,需,需要,花,花费,两,两亿,五,五千,万,万美,元,元。,这,这些,数,数据,是,是精,确,确的,也,也是,有,有序,的,的，,但,但是,数,数据,往,往往,会,会有,几,几周,的,的滞,后,后。,麻省,理,理工,学,学院,（,（,MIT,）的,两,两位,经,经济,学,学家,，,，通,过,过一,个,个软,件,件在,互,互联,网,网上,每,每天,可,可以,收,收集,到,到,50,万种,商,商品,的,的价,格,格，,他,他们,能,能比,官,官方,数,数据,提,提前,发,发现,通,通货,紧,紧缩,趋,趋势,。,。,74,Hitwise,，通,过,过流,量,量判,断,断消,费,费者,喜,喜好,数据,创,创新,再,再利,用,用的,一,一个,典,典型,例,例子,是,是搜,索,索关,键,键词,。,。,消费,者,者和,搜,搜索,引,引擎,之,之间,的,的瞬,时,时交,互,互形,成,成了,一,一个,网,网站,和,和广,告,告的,列,列表,，,，实,现,现了,那,那一,刻,刻的,特,特定,功,功能,。,。这,些,些信,息,息除,了,了实,现,现基,本,本用,途,途之,外,外，,它,它还,可,可以,变,变得,非,非常,有,有价,值,值。,如数,据,据代,理,理益,百,百利,旗,旗下,的,的网,页,页流,量,量测,量,量公,司,司,Hitwise,，让,客,客户,采,采集,搜,搜索,流,流量,来,来揭,示,示消,费,费者,的,的喜,好,好。,75,无所,不,不包,的,的谷,歌,歌翻,译,译系,统,统,2006,年，,谷,谷歌,公,公司,开,开始,涉,涉足,机,机器,翻,翻译,。,。这,被,被当,作,作实,现,现“,收,收集,全,全世,界,界的,数,数据,资,资源,，,，并,让,让人,人,人都,可,可享,受,受这,些,些资,源,源”,这,这个,目,目标,的,的一,个,个步,骤,骤。,谷歌,翻,翻译,利,利用,一,一个,更,更大,更,更繁,杂,杂的,数,数据,库,库，,也,也就,是,是全,球,球的,互,互联,网,网。,谷歌,翻,翻译,系,系统,为,为了,训,训练,计,计算,机,机，,会,会吸,收,收它,能,能找,到,到的,所,所有,翻,翻译,。,。它,增,增加,了,了很,多,多各,种,种各,样,样的,数,数据,，,，还,接,接受,了,了有,错,错误,的,的数,据,据。,谷歌,语,语料,库,库的,内,内容,来,来自,于,于未,经,经过,滤,滤的,网,网页,内,内容,，,，所,以,以会,包,包含,各,各种,错,错误,。,。但,谷,谷歌,语,语料,库,库是,其,其他,语,语料,库,库的,好,好几,百,百万,倍,倍大,，,，这,样,样的,优,优势,完,完全,压,压倒,了,了缺,点,点,76,谷歌,，,，从,大,大的,“,“噪,音,音”,数,数据,中,中受,益,益,谷歌知道,人,人们在搜,索,索时点击,的,的是第,1,页的第,8,个链接还,是,是第,8,页的第,1,个链接，,或,或者是干,脆,脆放弃了,所,所有搜索,点,点击。,谷歌就是,依,依据用户,的,的点击情,况,况通过排,名,名算法自,动,动地在随,后,后的搜索,中,中将信息,排,排位。,“数据废,气,气”：看,似,似“没用,”,”的，“,错,错误”的,数,数据。,77,IBM,，电动汽,车,车动力与,电,电力供应,系,系统优化,预,预测,基于大量,的,的信息输,入,入，如汽,车,车的电池,电,电量、汽,车,车的位置,、,、一天中,的,的时间以,及,及附近充,电,电站的可,用,用插槽等,，,，,IBM,开发了一,套,套复杂的,预,预测模型,。,。,它将这些,数,数据与电,网,网的电流,消,消耗以及,历,历史功率,使,使用模式,相,相结合。,通,通过分析,来,来自多个,数,数据源的,巨,巨大实时,数,数据流和,历,历史数据,，,，能够确,定,定司机为,汽,汽车电池,充,充电的最,佳,佳时间和,地,地点，并,揭,揭示充电,站,站的最佳,设,设置点。,78,物联网,物联网（,InternetofThings,，缩写,IOT,）是一个,基,基于互联,网,网、传统,电,电信网等,信,信息承载,体,体，让所,有,有能够被,独,独立寻址,的,的普通物,理,理对象实,现,现互联互,通,通的网络,。,。,在物联网,上,上，每个,人,人都可以,应,应用电子,标,标签将真,实,实的物体,上,上网联结,，,，在物联,网,网上都可,以,以查找出,它,它们的具,体,体位置。,通过物联,网,网可以用,中,中心计算,机,机对机器,、,、设备、,人,人员进行,集,集中管理,、,、控制，,也,也可以对,家,家庭设备,、,、汽车进,行,行遥控，,以,以及搜寻,位,位置、防,止,止物品被,盗,盗等各种,应,应用。,79,RFID,技术,RFID,是,Radio FrequencyIdentification,的缩写，,即,即射频识,别,别，俗称,电,电子标签,。,。,RFID,是一种简,单,单的无线,系,系统，由,一,一个询问,器,器,(,或阅读器,),和很多应,答,答器,(,或标签,),组成。该,系,系统用于,控,控制、检,测,测和跟踪,物,物体。,RFID,技术在超,市,市和图书,馆,馆中的应,用,用,80,车联网,未来车联,网,网技术将,重,重新定义,汽,汽车,DNA,。借助无,线,线通讯，,城,城市内车,与,与车之间,，,，车与建,筑,筑之间，,车,车与人之,间,间都将建,立,立更加智,能,能紧密的,互,互联。,通过装载,在,在车辆上,的,的电子标,签,签利用无,线,线射频等,识,识别技术,，,，实现在,信,信息网络,平,平台上对,所,所有车辆,的,的属性信,息,息和静、,动,动态信息,进,进行提取,和,和有效利,用,用，并根,据,据不同的,功,功能需求,对,对所有车,辆,辆的运行,状,状态进行,有,有效的监,管,管和提供,综,综合服务,。,。,81,无人驾驶,无人驾驶,被,被人认为,是,是车联网,的,的终极目,标,标,无人驾驶,车,车依赖的,技,技术很多,，,，比如导,航,航、雷达,、,、庞大数,据,据计算等,，,，要实现,这,这些技术,需,需要和物,联,联网紧密,结,结合起来,。,。,无人驾驶,是,是通过车,载,载传感系,统,统感知道,路,路环境，,自,自动规划,行,行车路线,并,并控制车,辆,辆到达预,定,定目标的,智,智能汽车,。,。,82,自动泊车,系,系统,自动泊车,系,系统，顾,名,名思义驾,驶,驶者双手,可,可以离开,方,方向盘，,在,在车辆停,好,好之前要,做,做的只是,等,等待。,自动泊车,系,系统主要,由,由两部分,组,组成：控,制,制单元和,位,位于前后,保,保险杠以,及,及两侧的,超,超声波雷,达,达探头。,按动自动,泊,泊车辅助,系,系统激活,按,按钮之后,，,，雷达探,头,头可在车,辆,辆行驶时,对,对车辆两,侧,侧进行扫,描,描。,控制单元,对,对雷达反,馈,馈的信息,进,进行分析,，,，从而估,算,算出车位,是,是否足以,容,容纳车辆,停,停放。,自动泊车,系,系统随后,将,将通过助,力,力转向系,统,统对车辆,行,行驶方向,进,进行干预,，,，并以控,制,制单元规,划,划好的路,径,径将车辆,停,停入车位,。,。,83,日本先进,工,工业技术,研,研究院的,坐,坐姿研究,与,与汽车防,盗,盗系统,该研究所,教,教授把每,个,个驾车者,的,的坐姿量,化,化为精确,的,的数据，,使,使其对司,机,机识别的,正,正确率高,达,达,98%,。,这项技术,作,作为汽车,防,防盗系统,，,，一旦识,别,别驾车者,不,不是车主,，,，就会自,动,动熄火。,这一技术,还,还可汇集,事,事故发生,前,前驾车者,的,的姿势变,化,化数据，,分,分析坐姿,与,与行驶安,全,全的关系,，,，在司机,疲,疲劳驾驶,时,时发出警,示,示或自动,刹,刹车。,84,UPS,快递,大数据技,术,术下的最,佳,佳行车路,径,径,UPS,快递多效,地,地利用了,地,地理定位,数,数据。为,了,了使总部,能,能在车辆,出,出现晚点,的,的时候跟,踪,踪到车辆,的,的位置和,预,预防引擎,故,故障，它,的,的货车上,装,装有传感,器,器、无线,适,适配器和,GPS,。同时，,这,这些设备,也,也方便了,公,公司监督,管,管理员工,并,并优化行,车,车线路。,UPS,为货车定,制,制的最佳,行,行车路径,是,是根据过,去,去的行车,经,经验总结,而,而来的。,2011,年，,UPS,的驾驶员,少,少跑了近,4828,万公里的,路,路程，节,省,省了,300,万加仑的,燃,燃料并且,减,减少了,3,万公吨的,二,二氧化碳,排,排放量。,85,UPS,与汽车修,理,理预测,UPS,国际快递,公,公司从,2000,年就开始,使,使用预测,性,性分析来,监,监测自己,全,全美,60000,辆车规模,的,的车队，,这,这样就能,及,及时地进,行,行防御性,的,的修理。,通过监测,车,车辆的各,个,个部位，,UPS,只需要更,换,换需要更,换,换的零件,，,，从而节,省,省了好几,百,百万美元,。,。,86,“量化自,我,我”,通过一种,非,非干预的,手,手段，把,一,一些所谓,的,的医疗传,感,感器放到,我,我们的身,边,边，比如,我,我们戴一,个,个腕表、,一,一枚戒指,、,、一个耳,塞,塞、一副,眼,眼镜等，,通,通过这些,设,设备我们,可,可以了解,自,自己的心,跳,跳、血压,情,情况，甚,至,至包括我,们,们体表的,健,健康状况,，,，从而对,一,一些大病,（,（如癫痫,等,等）进行,早,早期预测,。,。,美国,Fitbit,公司近期,就,就推出了,一,一款免费,的,的苹果手,机,机应用，,用,用户可用,于,于记录食,物,物和液体,摄,摄入量，,从,从而跟踪,其,其活动水,平,平和营养,摄,摄入情况,，,，通过分,析,析这些数,据,据可以很,好,好的控制,体,体重。,87,小儿床垫,通过床垫,上,上的压力,与,与湿度传,感,感器分析,，,，来判断,小,小孩子有,没,没有比较,严,严重的打,鼾,鼾或者睡,姿,姿不正确,等,等问题。,88,在线教育,如著名的,在,在线教育,公,公司,Coursera,，已经和,普,普林斯顿,、,、伯克利,、,、宾夕法,尼,尼亚大学,等,等,30,多所大学,合,合作，在,互,互联网上,免,免费开放,大,大学课程,分布在世,界,界各地的,学,学习者不,仅,仅可以在,同,同一时间,实,实时听取,同,同一位老,师,师的授课,，,，还和在,校,校生一样,，,，做同样,的,的作业、,接,接受同样,的,的评分和,考,考试。,在线教育,是,是一个“,行,行为评价,和,和诱导”,的,的智能平,台,台,89,在线教育,服,服务,Knewton,在线教育,服,服务,Knewton,是大数据,应,应用于教,育,育行业的,典,典型，通,过,过数据分,析,析区分出,每,每个学生,的,的优缺点,，,，从而给,学,学生有效,的,的指导。,美国最大,的,的公立大,学,学亚利桑,那,那州公立,大,大学曾运,用,用这一系,统,统来提高,学,学生的数,学,学水平，,全,全校,2000,名学生使,用,用该系统,两,两学期之,后,后，该大,学,学的辍学,率,率下降了,56%,，毕业率,从,从,64%,升高到,75%,。,90,购买飞机,票,票,同一架飞,机,机上的座,位,位，票价,却,却千差万,别,别，个中,原,原因，只,有,有航空公,司,司知道。,奥伦,-,埃齐奥尼,开,开发了一,个,个系统，,用,用来推测,当,当前网页,上,上的机票,价,价格是否,合,合理，预,测,测当前的,机,机票价格,在,在未来一,段,段时间内,会,会上涨还,是,是下降，,从,从而帮助,乘,乘客明智,购,购票。,这个预测,系,系统建立,在,在,41,天内价格,波,波动产生,的,的,12000,个价格样,本,本基础之,上,上。,91,Farecast,是一个对,机,机票价格,进,进行预测,的,的公司，,帮,帮助消费,者,者抓住最,佳,佳购买机,票,票的时机,，,，使乘客,节,节省很多,钱,钱。,最初预测,