大数据的介绍及案例分享37

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2014/2/21,#,大数据的介绍及案例分享,1,目录,大数据,的,的概念,大数据,与,与传统,数,数据的,区,区别？,大数据,的,的典型,特,特征（,3V,）,广义的,大,大数据,大数据应,用,用案例,2,大数据,的,的概念,大数据,(Big Data),是指无法用现有,的,的软件,工,工具提,取,取、存,储,储、搜,索,索、共,享,享、分,析,析和处,理,理的海,量,量的、,复,复杂的,数,数据集合,简单一,点,点的说,，,，就是,用,用现有,一,一般技,术,术难以,管,管理的,数,数据,。,3,大数据,与,与传统,数,数据的,区,区别？,小明去了,一,一百次书店,传统数,据,据：要,回,回答的,问,问题是,他,他第一,百,百零一,次,次买不,买,买书，,即,即业绩,和,和经营,指,指标的,问,问题；,大数据,：,：要回,答,答的是,他,他第一,百,百零一,次,次买什,么,么书，,需,需要将,什,什么样,的,的内容,推,推荐给,他,他。,群体和个体,的,的区别,传统定义上，更,多,多关注的是,一,一类人群，,用,用同一类规,则,则制订套餐,给,给他们；,互联网时代，要把,每,每个人都精,准,准刻画出来,，,，进行精准,匹,匹配。,4,大数据的典,型,型特征（,3V,）,Volume,（容量）,现在基本上,是,是指从几十,TB,到几,PB,这样的数量,级,级，未来，,可,可能只有几,EB,数量级的数,据,据量才能称,得,得上是大数,据,据了。,Variety,（多样性）,结构化和非,结,结构化数据,Velocity,（速度）,数据产生和,更,更新的频率,5,广义的大数,据,据,所谓大数据，是,一,一个综合性,概,概念，它包括：,（,1,）因具备,3V,特征而难以,进,进行管理的,数,数据,（,2,）对这些数,据,据进行存储,、,、处理、分,析,析的技术,（,3,）以及能够,通,通过分析这,些,些数据获得,实,实用意义和,观,观点的人才,和,和组织,6,大数据的应,用,用案例,7,穿孔卡片与,美,美国人口普查,美国在,1880,年进行的人,口,口普查，耗,时,时,8,年才完成数,据,据汇总。因,此,此，他们获,得,得的很多数,据,据都是过时,的,的。,1890,年进行的人,口,口普查，预,计,计要花费,13,年的时间来,汇,汇总数据。,后来，美国人口普,查,查局通过用,赫,赫尔曼,-,霍尔瑞斯发,明,明的穿孔卡片制,表,表机来进行,1890,年的人口普查，,耗,耗时一年。,8,麻省理工与,通,通货紧缩预,测,测软件,美国劳工统,计,计局的人员,每,每个月都要,公,公布消费物,价,价指数（,CPI,），这是用,来,来测试通货,膨,膨胀率的。,政府通过人,工,工采集价格,信,信息数据每年大概需,要,要花费两亿,五,五千万美元,。,。这些数据,是,是精确的也是有序的，但是数,据,据往往会有,几,几周的滞后,。,。,麻省理工学,院,院（,MIT,）的两位经,济,济学家，通,过,过一个软件,在,在互联网上每天可以收集到,50,万种商品的价格，他们,能,能比官方数,据,据提前发现,通,通货紧缩趋,势,势。,9,沃尔玛，,请把蛋挞与,飓,飓风用品摆,在,在一起,通过对历史交易记,录,录这个庞大,数,数据库进行,观,观察，沃尔,玛,玛注意到，,每,每当季节性,飓,飓风来临之,前,前，不仅手,电,电筒销量增,加,加，而且美,式,式早餐含糖,零,零食蛋挞销,量,量也增加了。,因此每当季,节,节性飓风来,临,临时，沃尔玛就,会,会把蛋挞与,飓,飓风用品摆,放,放在一起，,从,从而增加销,量,量。,10,沃尔玛：东海岸,中海岸,西海岸,在美国，东,海,海岸、中海,岸,岸、西海岸,之,之间有两小,时,时时差。,东海岸的沃尔玛营,业,业两小时后,之,之后，中海,岸,岸才开始营,业,业，沃尔玛,就,就会把东海,岸,岸当天这两,小,小时的营业,情,情况、相关,数,数据传给中海岸。,中海岸就会根,据,据这个数据,知,知道了这天,人,人们的购物喜好，决定货品,怎,怎么摆放，,哪,哪些货物摆,放,放在一起会,比,比较好。,这种方式给,沃,沃尔玛带来,了,了很大的利,润,润。,11,美国折扣零,售,售商塔吉特,与,与怀孕预测,塔吉特公司,能,在不被清楚告,知,知的情况下,预,预测出一个,女,女性的怀孕情况,该公司找出,了,了大概,20,多种与怀孕,的,的关联物，给顾客,进,进行“怀孕,趋,趋势”评分,这些数据甚至使,得,得零售商能,够,够比较准确,地,地预测预产,期,期，这样就,能,能够在孕期,的,的每个阶段,给,给客户寄送,相,相应的优惠,券,券,12,Hitwise,，通过流量,判,判断消费者喜好,数据创新再利用,的,的一个典型,例,例子是搜索,关,关键词。,消费者和搜索引擎,之,之间的瞬时,交,交互形成了,一,一个网站和,广,广告的列表,，,，实现了那,一,一刻的特定,功,功能。这些信息,除,除了实现基,本,本用途之外，它还,可,可以变得非常有,价,价值。,如数据代理益,百,百利旗下的,网,网页流量测,量,量公司,Hitwise,，让客户采,集,集搜索流量,来,来揭示消费,者,者的喜好。,13,物联网,物联网（,Internet of Things,，缩写,IOT,）是一个基,于,于互联网、,传,传统电信网,等,等信息承载,体,体，让所有,能,能够被独立,寻,寻址的普通,物,物理对象实,现,现互联互通,的,的网络。,在物联网上，,每,每个人都可,以,以应用电子,标,标签将真实,的,的物体上网,联,联结，在物,联,联网上都可,以,以查找出它,们,们的具体位,置,置。,通过物联网可以,用,用中心计算,机,机对机器、,设,设备、人员,进,进行集中管,理,理、控制，,也,也可以对家,庭,庭设备、汽,车,车进行遥控,，,，以及搜寻,位,位置、防止,物,物品被盗等,各,各种应用。,14,RFID,技术,RFID,是,RadioFrequencyIdentification,的缩写，即,射,射频识别，,俗,俗称电子标,签,签。,RFID,是一种简单,的,的无线系统,，,，由一个询,问,问器,(,或阅读器,),和很多应答,器,器,(,或标签,),组成。该系统用于控,制,制、检测和,跟,跟踪物体。,RFID,技术在超市,和,和图书馆中,的,的应用,15,车联网,未来车联网,技,技术将重新,定,定义汽车,DNA,。借助无线通讯，,城,城市内车与,车,车之间，车,与,与建筑之间,，,，车与人之,间,间都将建立,更,更加智能紧,密,密的互联。,通过装载在,车,车辆上的电,子,子标签利用无,线,线射频等识别,技,技术，实现,在,在信息网络,平,平台上对所,有,有车辆的属,性,性信息和静,、,、动态信息,进,进行提取和,有,有效利用，,并,并根据不同,的,的功能需求,对,对所有车辆,的,的运行状态,进,进行有效的,监,监管和提供,综,综合服务。,16,无人驾驶,无人驾驶被,人,人认为是车,联,联网的终极目标,无人驾驶车依赖,的,的技术很多,，,，比如导航,、,、雷达、庞,大,大数据计算,等,等，要实现,这,这些技术需,要,要和物联网,紧,紧密结合起,来,来。,无人驾驶是通过车载传感系,统,统感知道路,环,环境，自动,规,规划行车路,线,线并控制车,辆,辆到达预定,目,目标的智能汽车。,17,自动泊车系统,自动泊车系,统,统，顾名思,义,义驾驶者双手,可,可以离开方,向,向盘，在车,辆,辆停好之前,要,要做的只是,等,等待。,自动泊车系统主,要,要由两部分,组,组成：控制,单,单元和位于,前,前后保险杠,以,以及两侧的,超,超声波雷达,探,探头。,按动自动泊车,辅,辅助系统激,活,活按钮之后,，,，雷达探头,可,可在车辆行,驶,驶时对车辆,两,两侧进行扫描。,控制单元对,雷,雷达反馈的,信,信息进行分,析,析，从而估,算,算出车位是,否,否足以容纳,车,车辆停放。,自动泊车系,统,统随后将通,过,过助力转向,系,系统对车辆,行,行驶方向进,行,行干预，并,以,以控制单元,规,规划好的路,径,径将车辆停,入,入车位。,18,日本先进工,业,业技术研究,院,院的坐姿研,究,究与汽车防,盗,盗系统,该研究所教授,把,把每个驾车,者,者的坐姿量,化,化为精确的,数,数据，使其,对,对司机识别,的,的正确率高,达,达,98%,。,这项技术作为汽,车,车防盗系统,，,，一旦识别,驾,驾车者不是,车,车主，就会,自,自动熄火。,这一技术还可汇,集,集事故发生,前,前驾车者的,姿,姿势变化数,据,据，分析坐,姿,姿与行驶安,全,全的关系，,在,在司机疲劳,驾,驾驶时发出,警,警示或自动,刹,刹车。,19,UPS,快递,大数据技术,下,下的最佳行,车,车路径,UPS,快递多效地,利,利用了地理,定,定位数据。,为,为了使总部,能,能在车辆出,现,现晚点的时,候,候跟踪到车,辆,辆的位置和,预,预防引擎故,障,障，它的货,车,车上装有传,感,感器、无线,适,适配器和,GPS,。同时，这,些,些设备也方,便,便了公司监,督,督管理员工,并,并优化行车,线,线路。,UPS,为货车定制,的,的最佳行车,路,路径是根据,过,过去的行车,经,经验总结而,来,来的。,2011,年，,UPS,的驾驶员少,跑,跑了近,4828,万公里的路,程,程，节省了,300,万加仑的燃,料,料并且减少,了,了,3,万公吨的二,氧,氧化碳排放量。,20,UPS,与汽车修理,预,预测,UPS,国际快递公,司,司从,2000,年就开始使,用,用预测性分,析,析来监测自,己,己全美,60000,辆车规模的,车,车队，这样,就,就能及时地,进,进行防御性,的,的修理。,通过监测车,辆,辆的各个部,位,位，,UPS,只需要更换需要,更,更换的零件,，,，从而节省,了,了好几百万,美,美元。,21,谷歌与甲型,H1N1,流感,2009,年出现的甲,型,型,H1N1,流感,，当时还没,有,有研发出对,抗,抗这种新型,流,流感病毒的,疫,疫苗，公共,卫,卫生专家能,做,做的只是减,慢,慢它传播的,速,速度。但要,做,做到这一点,，,，他们必须,先,先知道这种,流,流感出现在,哪,哪里。,疾控中心得,到,到流感方面,的,的信息往往会有一两,周,周的滞后，这种滞后,导,导致公共,卫,卫生机构,在,在疫情爆,发,发的关键,时,时期反而无所适从,。,。,谷歌通过,观,观察人们,在,在网上的,搜,搜索记录,来,来预测流感的传播，得,到,到的信息,是,是非常准,确,确和及时,的,的。,22,“量化自,我,我”,通过一种非干,预,预的手段,，,，把一些,所,所谓的医,疗,疗传感器,放,放到我们,的,的身边，,比,比如我们,戴,戴一个腕,表,表、一枚,戒,戒指、一,个,个耳塞、,一,一副眼镜,等,等，通过,这,这些设备,我,我们可以,了,了解自己,的,的心跳、,血,血压情况,，,，甚至包,括,括我们体,表,表的健康,状,状况，从,而,而对一些,大,大病（如,癫,癫痫等）,进,进行早期,预,预测。,美国,Fitbit,公司近期,就,就推出了,一,一款免费,的,的苹果手,机,机应用，,用,用户可用,于,于记录食,物,物和液体,摄,摄入量，,从,从而跟踪,其,其活动水,平,平和营养,摄,摄入情况,，,，通过分,析,析这些数,据,据可以很,好,好的控制,体,体重。,23,小儿床垫,通过床垫上的压力,与,与湿度传,感,感器分析，来判断,小,小孩子有没有比,较,较严重的,打,打鼾或者,睡,睡姿不正,确,确等问题,。,。,24,在线教育,如著名的在,线,线教育公,司,司,Coursera,，已经和,普,普林斯顿,、,、伯克利,、,、宾夕法,尼,尼亚大学,等,等,30,多所大学,合,合作，在,互,互联网上,免,免费开放,大,大学课程,分布在世,界,界各地的,学,学习者不,仅,仅可以在