大数据应用案例分析

单击此处编辑母版标题样式,单击此处编辑文本,第二级,第三级,第四级,第五级,0,大数据应用案例分析,目录,大数据,概,概念,1,大数据,处,处理办,法,法,2,大数据,应,应用案,例,例,3,1,大数据,概,概念,大 数,据,据,时,时 代,到,到来,随着智,能,能手机,的,的普及,，,，网民,参,参与互,联,联网产,品,品和使,用,用各种,手,手机应,用,用的程,度,度越来,越,越深，,用,用户的,行,行为、位置、,甚至身,体,体生理,等,等每一,点,点变化,都,都成为,了,了可被,记,记录和,分,分析的,数,数据，,数,数据量,呈,呈现爆,炸,炸式增,长,长。,地球上,至,至今总,共,共的数,据,据量：,在2006年，个,人,人用户,才,才刚刚,迈,迈进TB时代，全球一,共,共新产,生,生了约180EB的数据,；,；,据IDC研究机,构,构预测,：,：,到2020年，整,个,个世界,的,的数据,总,总量将,会,会增长,44倍，达,到,到35.2ZB（1ZB,=,=10亿TB）！,1PB,=,=250字节,1EB,=,=260字节,1ZB,=,=270字节,GB,在2011年，这,个,个数字,达,达到了1.8ZB。,TB,PB,EB,ZB,01,大数据的构成,大数据=海量,数,数据（,交,交易数,据,据、交,互,互数据,）,）+针,对,对海量,数,数据处,理,理的解,决,决方案,海量交,易,易数据,：,：企业内,部,部的经,营,营交易,信,信息主要包括联机交易数据和联机,分,分析数,据,据，是,结,结构化,的,的、通过关系数据库进行管理和访问的静,态,态、历,史,史数据,。,。通过,这,这些数,据,据，我,们,们能了,解,解过去发生了,什,什么。,海量交,互,互数据,：,：源于Facebook、Twitter,、,、微博,、,、及其,他,他来源,的,的社交,媒,媒体数据,构,构成。,它,它包括,了,了呼叫,详,详细记,录,录CDR、设,备,备和传,感,感,器,器信息,、,、GPS和地,理,理定位,映,映射数,据,据、通,过,过管理,文,文件传,输,输ManageFileTransfer协,议,议传送,的,的海量,图,图像文,件,件、Web文本和,点,点击流,数,数据、,科,科学信,息,息、电,子,子邮件,等,等等。,可,可以告,诉,诉,我,我们未,来,来会发,生,生什么,。,。,海量数,据,据处理,：,：大数据,的,的涌现,已,已经催,生,生出了设计用于数据密集型处理的,架,架构。,例,例如具,有,有开放,源,源码、,在,在商品,硬,硬件群,中,中运行,的,的ApacheHadoop,。,。,注：大,数,数据不仅仅,指,指的是,数,数据量,庞,庞大，,更,更为重,要,要的是,数,数据类,型,型复杂,想驾驭,这,这庞大,的,的数据,，,，我们,必,必,须,须了解,大,大数据,的,的特征,。,。,02,大数据4V特 征,0,3,结构化,数,数据、,半,半结构,化,化数据,和,和非结构,化,数,数据,如今的,数,数据类,型,型早已,不,不是单,一,一的文,本,本形式,，,，网络日,志,志、音频、,视,视频、,图,图片、,地,地理位,置,置信息,等,等，对,数,数据的,处,处理,能,能力,提,提出了,更,更高要,求,求,实时获,取,取需要,的,的信息,比如：,在,在客户,每,每次浏,览,览页面,，,，每次,下,下订单,过,过程中,都,都会,对,对用,户,户进行,实,实时的,推,推荐，,决,决策已,经,经变得,实,实时,数据量,巨,巨大,全球在2010年正式,进,进入ZB时代，IDC,预,预计到2020年，全,球,球将总,共,共拥有35ZB的数据,量,量,沙里淘,金,金，价,值,值密度,低,低,虽然数,据,据量很,大,大，但,是,是价值,密,密度较,低,低，如,何,何通过,强,强大,的,的机,器,器算法,更,更迅速,地,地完成,数,数据价,值,值“提,纯,纯”，,是,是目前,大,大,数,数据亟,待,待解决,的,的难题,大数据,产品,市场价,值,值,解决方,案,案,转化,1.海量（Volume）,3.速,度,度（Velocity）,4.价值（value）,2.多样（Variety）,2,大数据,处,处理办,法,法,用 户,画,画,像,像 体,系,系,0,1,每个企,业,业都不,可,可以避,免,免的要,对,对用户,进,进行画,像,像，用,户,户画像,的,的提出,，,，根本,上,上是源,于,于企业,对,对用户,认,认知的,需,需求。产品经,理,理，需,要,要了解,用,用户的,特,特征，,对,对产品,进,进行功,能,能的完,善,善。内,容,容运营,人,人员，,需,需要筛,选,选目标,用,用户，,对,对内容,进,进行精准,投,投放。,活跃程,度,度如何,？,？,年龄分,布,布、区,域,域分布,是,是什么,样,样的？,消费习,惯,惯和特,征,征是什,么,么？,公司在,哪,哪？,对什么,感,感兴趣,？,？,常去的,商,商圈是,哪,哪儿？,赢利点,在,在哪？,职业是,什,什么？,常住地,在,在哪儿？,购买能,力,力如何,？,？,基本特,征,征？,用 户,画,画,像,像 体,系,系,02,驾驶行,为,为数据,将,将构建,精,精准的,车,车险用,户,户画像,性别,年龄,国籍,地理位,置,置,开车地,点,点,职业,驾照类,别,别,开车频,率,率,开车原,因,因,健庩状,况,况,医疗条,件,件,感知力,学习周,期,期,消费习,惯,惯,民族特,征,征,教育水,平,平,婚姻状,态,态,共用车,辆,辆情况,生活方,式,式,使用药,物,物情况,酒驾经,历,历,疲劳驾,驶,驶,收入情,况,况,碰撞事,故,故,车辆维,修,修,犯罪记,录,录,违章驾,驶,驶记录,驾,驾,驶,驶时间,通过对,用,用户不,同,同维度,的,的大数,据,据分析,，,，最终,得,得出可,执,执行的,业,业务决,策,策。,基本,属性,行为,习惯,购买,能,能力,心理,特,特征,社交,网,网络,兴趌,爱,爱好,基于机,器,器学习,的,的数据挖,掘,掘及分,类,类基本识,别,别流程,0,3,训练样,本,本,数,数据源,分词,特征选,择,择,特征权,重,重计算,模型训,练,练,是,模型评,估,估,是否通,过,过,待预测,类,类,别,别文,本,本库,文本打,上,上,类,类别,标,标签,否,训,练,练,及,及,测,测,试,试,过,过,程,程,预,测,测,过,过,程,程,训练生,成,成,的,的模型,训练生,成,成,的,的模型,待预测,类,类,别,别文本,原,原,始,始库,数据预,处,处理,训练样,本,本,库,数据预,处,处理,a.去,除,除营销,博,博文干,扰,扰b.去除提,及,及人的,干,干扰（）c.去,除,除如门,户,户的作,者,者的干,扰,扰,大 数,据,据的 处,理,理,0,4,数据,去,去重,空值,处,处理,数据,去,去噪,格式,统,统一,对齐融,合,合,融合信,息,息,数,数据库,融合信,息,息,数,数据库,里程数,据,据,工况数,据,据,充电数,据,据,行驶轨,迹,迹,车辆信息,将空值,更,更改为,对,对,应,应的默,认,认值,使用UGC算,法,法去除无用数,据,据使用基,于,于密度,的,的聚类,去,去除异常数,据,据,将多源,异,异构数,据,据转换,为,为,统,统一数,据,据表达,形,形式,去除异常的,数,数据项,汇聚多,源,源异构,数,数据,中,中的,一,一致部,分,分,数据挖,掘,掘分类,的,的过程,3,大数据,应,应用案,例,例,大数据,是,是做好,音,音乐平,台,台的一,把,把利器,0,1,爽歪的,麻,麻雀，,在,在电线,杆,杆上裸,睡,睡,削个椰,子,子皮，,你,你却TM给个梨,撒米拉,带,带带，,哇,哇嘎哇,嘎,嘎哎哟,想听的,歌,歌记不,起,起名字,？,？,呀,马,大,叔,与,小,舅,舅,四斤大,豆,豆，三,根,根皮带,艾薇，,莎,莎啦啦,，,，艾瑞,噢,噢喔噢,喔,喔，手,刹,刹,多情咱,切,切抱刘,继,继芬,钢铁锅,，,，含眼,泪,泪喊修,瓢,瓢锅,啊,瑞,宁,瑞,宁,瑞,宁,瑞,宁,瑞,宁,产 品,竞,竞,争,争,0,4,*听歌,进,进入社,交,交化时,代,代，听,歌,歌单、,听,听歌看,评,评论成,为,为流行,听,听歌行,为,为；,*个性,化,化推荐,已,已覆盖,多,多数听,歌,歌用户,，,，越来,越,越多用,户,户通过,个,个性化,推,推荐发,现,现好音,乐,乐；*听歌,进,进入多,元,元化时,代,代，民,谣,谣、电,音,音、二,次,次元音,乐,乐崛起,；,；,*独立,音,音乐人,迅,迅速崛,起,起，社,交,交互动,助,助推音,乐,乐人涨,粉,粉；,*90,后,后已成,为,为音乐,消,消费主,力,力人群,；,；,*用户,付,付费意,识,识明显,提,提高，,付,付费会,员,员数和,数,数字专,辑,辑售卖,增,增长迅,猛,猛；,*综艺,影,影视对,音,音乐的,影,影响依,旧,旧强大,，,，热门,歌,歌曲中7成来,源,源于综,艺,艺或影,视,视；,*偶像,流,流行乐,保,保持高,热,热度，,欧,欧美歌,曲,曲受众,提,提升；,*音乐,市,市场正,在,在构建,一,一种新,的,的评价,体,体系，,评,评论数,成,成为歌,曲,曲热度,重,重要评,价,价指标,；,；,*男歌,手,手受喜,爱,爱度高,于,于女歌,手,手，女,性,性歌迷,消,消费群,体,体经济,崛,崛起；,截至2016年7月呈现2亿音,乐,乐用户,听,听歌行,为,为以及2万音,乐,乐人活,跃,跃行为,用户分,析,析,0,5,目标用户,细分群体,用户特征,需求,音乐,消费者,学生,年轻，时间宽裕，喜欢新鲜，爱评论爱分享爱展示，有个性,1,、个性化推荐音乐,2,、对音乐有评论等互动行为,3,、分享展示喜欢的音乐,白领,时间碎片化，有一定压力，会关注娱乐界动态,4,、迅速找到喜欢的音乐,5,、推荐潮流音乐,6,、有明星,动态,IT,从业者,压力大，需要更多消遣和心理慰藉,时尚人士,热爱音乐和潮流，有个性,7,、分享自己的口味,主要需,求,求（音,乐,乐消费,者,者）,1、播放音乐,2、发现音乐,（喜欢的,、,、特别,的,的、潮,流,流的）,3、展示,自,自我，,有,有基于,音,音乐的,互,互动。,目标用,户,户：热爱音,乐,乐，对,音,音乐有,较,较高需,求,求的高,素,素质年,轻,轻人群,。,。,用户分,析,析,0,5,目标用,户,户：热爱音,乐,乐，对,音,音乐有,较,较高需,求,求的高,素,素质年,轻,轻人群,。,。,通过数,据,据可以,发,发现网,易,易云音,乐,乐用户,群,群中19-30岁年,龄,龄段用,户,户最多,，,，占比,达,达到48%，,整,整体用,户,户群偏,年,年轻化,。,。,职业分,布,布：学,生,生和IT从业,者,者占据,绝,绝大用,户,户群，,企,企业中,高,高层管,理,理人员,所,所占比,例,例最少,，,，另外,的,的专业,工,工作人,员,员所占,比,比例区,别,别不大,，,，用户,群,群体整,体,体受教,育,育程度,普,普遍较,高,高。,0,5,目标用户,细分,群体,用户特征,需求,音乐内容产生,者,音乐,人,/DJ,作品找不到渠道，希望建立个人品牌，更好的运营个人品牌,1,、传播自己的音乐，让更多的人知道,2,、与粉丝有互动,歌手,有一定知名度，有粉丝基础,3,、进一步提高知名度,，,吸引更多粉丝,唱片,公司,商业机构，营利是最重要的目的。,4,、提高收入,音乐爱好者,喜欢分享音乐，评论音乐,5,、希望得到更多展示（专栏）,主要需,求,求（音,乐,乐内容,产,产生者,）,）,1、宣传,音,音乐,（新歌,、,、特别,的,的口味,）,）,2、宣传,个,个人品,牌,牌,（演播,厅,厅、采,访,访直播,、,、互动,等,等）,3、盈利,（版权,收,收费、,会,会员收,费,费等）,用户分,析,析,目标用,户,户：（内容,产,产生者,是,是活跃,音,音乐社,区,区的关,键,键）,用户分,析,