资源描述
单击此处编辑母版标题样式,单击此处编辑文本,第二级,第三级,第四级,第五级,*,*,大数据应用案例分析,目录,大数据概念,1,大数据处理办法,2,大数据应用案例,3,1,大数据概念,大 数 据 时 代 到 来,随着智能手机的普及，网民参与互联网产品和使用各种手机应用的程度越来越深，用户的行为、位置、,甚至身体生理等每一点变化都成为了可被记录和分析的数据，数据量呈现爆炸式增长。,地球上至今总共的数据量：,在,2006,年，个人用户才刚刚迈进,TB,时代，全球一共新产生了约,180EB,的数据；,据,IDC,研究机构预测：,到,2020,年，整个世界的数据总量将会增长,44,倍，达到,35.2ZB,（,1ZB=10,亿,TB,）！,1PB=250字节,1EB=260字节,1ZB=270字节,GB,在,2011,年，这个数字达到了,1.8ZB,。,TB,PB,EB,ZB,01,大 数 据 的 构 成,大数据=海量数据（交易数据、交互数据）+针对海量数据处理的解决方案,海量交易数据：,企业内部的经营交易信息主要包括联机交易数据和联机 分析数据，是结构化的、通过关系数据库进行管理和访 问的静态、历史数据。通过这些数据，我们能了解过去 发生了什么。,海量交互数据：,源于Facebook、Twitter、微博、及其他来源的社交媒 体数据构成。它包括了呼叫详细记录CDR、设备和传感 器信息、GPS和地理定位映射数据、通过管理文件传输 Manage File Transfer协议传送的海量图像文件、Web 文本和点击流数据、科学信息、电子邮件等等。可以告 诉我们未来会发生什么。,海量数据处理：,大数据的涌现已经催生出了设计用于数据密集型处理的 架构。例如具有开放源码、在商品硬件群中运行的 Apache Hadoop。,注：大数据 不仅仅指的是数据量庞大，更为重要的是数据类型复杂,想驾驭这庞大的数据，我们必 须了解大数据的特征。,02,大 数 据,4V,特 征,0,3,结构化数据、半结构化数据和非结构,化 数据,如今的数据类型早已不是单一的文本形式，,网络日志、音频、视频、图片、地理位置信息等，对数据的处理 能力提出了更高要求,实时获取需要的信息,比如：在客户每次浏览页面，每次下订单过程中都会 对用户进行实时的推荐，决策已经变得实时,数据量巨大,全球在2010 年正式进入ZB 时代，IDC预计到 2020 年，全球将总共拥有35ZB 的数据量,沙里淘金，价值密度低,虽然数据量很大，但是价值密度较低，如何通过强大 的机器算法更迅速地完成数据价值“提纯”，是目前 大数据亟待解决的难题,大数据,产品,市场价值,解决方案,转化,1.海量（,Volume,）,3.速度（,Velocity,）,4.价值（value）,2.多样（,Variety,）,2,大数据处理办法,用 户 画 像 体 系,0,1,每个企业都不可以避免的要对用户进行画像，用户画像的提出，根本上是源于企业对用户认知的需求。产品经理，需要了解用户的特征，对产品进行功能的完善。内容运营人员，需要筛选目标用户，对内容进 行精准投放。,活跃程度如何？,年龄分布、区域分布是什么样的,？,消费习惯和特征是什么？,公司在哪？,对什么感兴趣？,常去的商圈是哪儿？,赢利点在哪？,职业是什么？,常住地在哪儿,？,购买能力如何？,基本特征？,用 户 画 像 体 系,02,驾驶行为数据将构建精准的车险用户画像,性别,年龄,国籍,地理位置,开车地点,职业,驾照类别,开车频率,开车原因,健庩状况,医疗条件,感知力,学习周期,消费习惯,民族特征,教育水平,婚姻状态,共用车辆情况,生活方式,使用药物情况,酒驾经历,疲劳驾驶,收入情况,碰撞事故,车辆维修,犯罪记录,违章驾驶记录 驾驶时间,通过对用户不同维度的大数据分析，最终得出可执行的业务决策。,基本,属性,行为,习惯,购买 能力,心理 特征,社交 网络,兴趌 爱好,基于机器学习的,数据挖掘及分类基本识别流程,0,3,训练样本 数据源,分词,特征选择,特征权重计算,模型训练,是,模型评估,是否通过,待预测 类别文 本库,文本打 上类别 标签,否,训 练 及 测 试 过 程,预 测 过 程,训练生成 的模型,训练生成 的模型,待预测类 别文本原 始库,数据预处理,训练样本,库,大 数 据,的 处 理,0,4,数据 去重,空值 处理,数据 去噪,格式 统一,对齐融合,融合信息 数据库,融合信息 数据库,里程数据,工况数据,充电数据,行驶轨迹,车辆信息,将空值更改为 对应的默认值,使用UGC算法去除,无用数据 使用基于密度的聚类去除异常数据,将多源异构数据转换 为统一数据表达形式,去除,异常的数据项,汇聚多源异构数据 中的一致部分,数据挖掘分类的过程,3,大数据应用案例,大数据是做好音乐平台的一把利器,0,1,爽歪的麻雀，在电线杆上裸睡,削个椰子皮，你却,TM,给个梨,撒米拉带带，哇嘎哇嘎哎哟,想听的歌记不起名字？,呀,马,大,叔,与,小,舅,舅,四斤大豆，三根皮带,艾薇，莎啦啦，艾瑞噢喔噢喔，手刹,多情咱切抱刘继芬,钢铁锅，含眼泪喊修瓢锅,啊,瑞,宁,瑞,宁,瑞,宁,瑞,宁,瑞,宁,产 品 竞 争,0,4,*听歌进入社交化时代，听歌单、听歌看评论成为流行听歌行为；,*个性化推荐已覆盖多数听歌用户，越来越多用户通过个性化推荐发现好音乐；,*听歌进入多元化时代，民谣、电音、二次元音乐崛起；,*独立音乐人迅速崛起，社交互动助推音乐人涨粉；,*90后已成为音乐消费主力人群；,*用户付费意识明显提高，付费会员数和数字专辑售卖增长迅猛；,*综艺影视对音乐的影响依旧强大，热门歌曲中7成来源于综艺或影视；,*偶像流行乐保持高热度，欧美歌曲受众提升；,*音乐市场正在构建一种新的评价体系，评论数成为歌曲热度重要评价指标；,*男歌手受喜爱度高于女歌手，女性歌迷消费群体经济崛起；,截至,2016,年,7,月呈现2亿音乐用户听歌行为以及2万音乐人活跃行为,用户分析,0,5,目标用户,细分群体,用户特征,需求,音乐,消费者,学生,年轻，时间宽裕，喜欢新鲜，爱评论爱分享爱展示，有个性,1,、个性化推荐音乐,2,、对音乐有评论等互动行为,3,、分享展示喜欢的音乐,白领,时间碎片化，有一定压力，会关注娱乐界动态,4,、迅速找到喜欢的音乐,5,、推荐潮流音乐,6,、有明星动态,IT,从业者,压力大，需要更多消遣和心理慰藉,时尚人士,热爱音乐和潮流，有个性,7,、分享自己的口味,主要需求（音乐消费者）,1,、播放音乐,2,、发现音乐,（喜欢的、特别的、潮流的）,3,、展示自我，有基于音乐的互动。,目标用户：,热爱音乐，对音乐有较高需求的高素质年轻人群。,用户分析,0,5,目标用户：,热爱音乐，对音乐有较高需求的高素质年轻人群。,通过数据可以发现网易云音乐用户群中19-30岁年龄段用户最多，占比达到48%，整体用户群偏年轻化。,职业分布：学生和IT从业者占据绝大用户群，企业中高层管理人员所占比例最少，另外的专业工作人员所占比例区别不大，用户群体整体受教育程度普遍较高。,0,5,目标用户,细分,群体,用户特征,需求,音乐内容产生者,音乐人,/DJ,作品找不到渠道，希望建立个人品牌，更好的运营个人品牌,1,、传播自己的音乐，让更多的人知道,2,、与粉丝有互动,歌手,有一定知名度，有粉丝基础,3,、进一步提高知名度，,吸引更多粉丝,唱片,公司,商业机构，营利是最重要的目的。,4,、提高收入,音乐爱好者,喜欢分享音乐，评论音乐,5,、希望得到更多展示（专栏）,主要需求（音乐内容产生者）,1,、宣传音乐,（新歌、特别的口味）,2,、宣传个人品牌,（演播厅、采访直播、互动等）,3,、盈利,（版权收费、会员收费等）,用户分析,目标用户：,（内容产生者是活跃音乐社区的关键）,用户分析,0,5,用户分析,0,5,02,推荐歌单,3种推荐维度和2种推荐算法,通过微信微博等社区软件进行传播分享,网易音乐编辑人员人工推荐的歌单和电台。,朋友推荐,人工推荐,通过大数据分析计算后的智能推荐歌单,智能推荐,以人为本算法,以歌为本算法,“喜欢这首歌的人，也喜欢XX”,喜欢：点击“喜欢”、评论、下载、收藏到歌单的人,所听歌曲的标签在其它歌曲也包含则推荐该歌曲,02,计 算 公 式,矩阵计算得分的方式,TNANK YOU,！,
展开阅读全文