大数据解决方案(PPT 44页)

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,北京荣之联,大数据,解决方案,目录,大数据综述,荣之,联,企业大数据平台方案,大数据平台建设方法,汽车制造业应用大数据畅想,案例,大数据时代到来,IDC,预测全球的数据使用量到,2020,年会增长,44,倍，达到,35.2ZB(1ZB=10,亿,TB),宽带、移动网络普及和提速,移动网络和各种智能终端,视频,(,医疗影像、地理信息、监控录像等,),统计、分析、预测、实时处理,传感器、,RFID,阅读器、导航终端等非传统,IT,设备,社交网络,(Facebook,Twitter,微博等,),数据处理思维转变,少量的样本数据,数据关系力求明确清晰,探求难以捉摸的因果关系,要求数据精确无误,全量数据,乐于接受数据的纷繁复杂,转而关注事物的关联关系,数据的精确不是那么重要了,谷歌翻译系统为了训练其系统,，收集其能找到的所有翻译；,谷歌收集了上万亿页的语料库，,包括质量参差不齐的文档,；,上万亿的语料库，相当于950亿句英语；,相对而言，谷歌的翻译质量还是最好的；,谷歌翻译之所以更好，,不是因为它拥有一个更好的算法机制，,而是增加了各种各样的数据,，包括有错误的数据；,在谷歌的翻译团队中，大多数工程师并不懂其翻译出来的语言,；,数据处理思维转变,传统数据分析思维,大数据分析思维,案例一,聘请了20多名书评家和编辑组成的团队，,在网页上创立,“亚马逊的声音”向客户推荐新书，写书评,；,通过客户的购买历史，寻找客户的相似性，,对客户分群进行产品推荐，,推荐的总是与以往购买的相似或略有区别,；,通过大量的数据分析，找出书籍之间的关联关系,，即,“item-to-item”,时亚马逊发生了天翻地覆的变化,。,AMAZON销售额的三分之一来自于“item-to-item,”的推荐系统。,AMAZON最终放弃了在线书评，书评团队被解散,。,案例,二,数据处理思维转变,数据处理思维转变,关联关系，预测的关键。很多时候，知道“是什么”就够了，没必要知道“为什么”。,一旦我们完成了“关联关系”分析，我们就可以继续向更深层次研究因果关系，找出,背后的“为什么”,沃尔玛：请把蛋挞和飓风用品摆在一起，请把啤酒和尿片摆在一起；,某信用评分公司，利用Facebook的社交圈来预测个人偿还债务的可能性；,对冲基金通过分析Twitter微博的数据文本，作为股市投资的信号；,某信用评分公司，利用Facebook的社交圈来预测个人偿还债务的可能性；,对冲基金通过分析Twitter微博的数据文本，作为股市投资的信号；,其它案例,大数据与,BI,融合*,大数据的商业价值,大数据主要厂商,大型企业和机构在寻求解决棘手的大数据问题时，往往会使用开源软件基础架构,Hadoop,的服务。由于,Hadoop,深受欢迎，许多公司都推出了各自版本的,Hadoop,，也有一些公司则围绕,Hadoop,提供解决方案。,Hadoop,的发行版除了社区的,Apache hadoop,外，,cloudera,，,IBM,，,ORACLE,等都提供了自己的商业版本。商业版主要是提供,Hadoop,专业的技术支持，这对一些大型企业尤其重要。,Cloudera,EMC,。,IBM,Oracle,大数据生态,HIVE,Big Data Applications,Pig!,Zoo,Keeper,SQL,RAW,非结构化资料汇入,SQL,资料汇,入,分散式档案系统,类,SQL,资料库系统,(,非即时性,),分散式资料库,(,即时性,),并行计算框架,资料处理语言,数据挖掘程序,库,目录,大数据综述,荣之联企业大数据平台方案,大数据平台建设方法,汽,车制造业应用大数据畅,想,案例,企业大数据平台架构原则*,技术,-,按需频度的数据获取,批量和实时数据采用不同的技术手段和工具，遵循统一的文件接口标准,技术,-,多样,化数据共存,跨同构,/,异构数据库（物理系统），基于文本、数据库的数据抽取和加载,数据,-,数据即服务,业务人员通过逻辑数据对象组件访问数据，而不用关心数据的物理存储方式。通过,数,据组织与前端应用功能,，使业务人员可以较容易、较快地定位和了解数据的内容。,数据,-,数据质量控制,通过一系列的技术和业务手段实现数据集成平台数据质量控制，主要体现在数据正确性（技术）、完整性、一致性（业务）、有效性。,大数据平台整体架构,大数据处理流程,建立对非结构化数据进行,SQL,语法查询的支持，实现与结构化数据的集成关联（,key,）,主分类,关键词,标签,地名人名,全国统一分类,分词，倒排搜索,共性、个性,文本识别,处理,功能,模块,网页分类,反向搜索,关键词分析,日志关联,内容分词,索引建立,索引分析,日志合并,用户,类别,标签,摘要,结构化元信息,网页信息分类,数据获取,语义分析,数据解析,非,结构化数据,数,据,获,取,结构化数据,数据集市,数据集市,EDW,结构化,元数据,Hadoop,建立非结构化信息的标签、摘要、索引、日志、内容等,提取结构化的元数据信息，如类别、标引、摘要等；实现与结构化数据的整合,ODS,SQL,声誉度分析,品牌分析,服务质量分析,竞争产品分析,产品评价,市场动态跟踪,ETL,网络爬虫,大数据关键技术,大数据关键技术,-Hadoop,Hadoop,系统工作原理,大数据关键技术,-,网络数据获取,分布式,网络爬虫,分布式文件系统,分布式存储,横向扩容,(Scale-out),架构,分布式软件架构,并行计算框架,大数据关键技术,-,两种平台相互集成,大数据关键技术,-,数据应用功能,数据查询,数据统计,信息检索,数据分析,语义分析,数据挖,掘,经营管理,市场活动,市场口碑,分销管理,决策支持,用,户服务,大数据关键技术,-,数据管控,目录,大数据综述,荣之联企业大数据平台方案,大数据平台建设方法,汽车,制造业应用大数据畅想,案例,传统数据平台与大数据分布式平台特性差异,大数据分析与传统,BI,分析差异,结构化数据,数据规模一般为,TB,规模,集中式，为了分析进行大量数据移动，数据向计算靠近,批处理为主,结构化,/,非结构化混合分析的能力,数据规模从数十,TB,到,PB,级别,分布式，计算向数据靠近,支持流式分析,事务,关系型数据库,批处理,数据仓库,分析,集群化,非结构化,流式,多种数据源,分析,(MapReduce),组织,传统,BI,分析,大数据分析,大数据处理和管理体系,-,多结构化,大数据实施建议,第一阶段：,应用场景驱动,的大数据开发,第二阶段：,各业务系统、,各渠道系统等,配合大数据改,造优化,第三阶段：,管理信息体系,下的大数据平,台建设,第四阶段（目,标）：,以大数据驱动的，,实时的、整体联,动的IT,解决,方案,Think,big,，,start,small.,大处着眼,小处着手。,大数据实施方法论,大数据业务战略,大数据建设目标,大数据架构设计,大数据实施,大数据运维,企业战略目标,业务目标,业务模式,大数据治理目标,应用场景,服务模式,服务对象,大,数据服务定义,大,数据信息模型,大,数据管理定义,技术选择,验证测试,容量规划,安装，配置,验收测试,系统上线,大数据服务管理,服务性能管理,生命周期管理,资源调度,系统监控,大数据持续改进,业务调整,服务改进,技术升级,架构优化,大数据的角色和技能,目录,大数据综述,荣之联企业大数据平台方案,大数据平台建设方法,汽车制造业应用大数据畅想,案例,汽车企业,IT,的过去,汽车企业,IT,的将来,业务挑战,产品研发周期响应长,市场扩张不够且竞争激烈,客户忠诚度不,高,成本增长且利润率低,业务趋势,提升客户服务，增加用户粘度,提高,生产率,扩大市场份额,加强集团管,控,降低成本,绿色,经济,新兴技术,云（,C,loud,）,移动（,Mobility,）,社交（,Social,）,大数据（,Big Data,）,一体化平台,客户体验（,CX,）,汽车制造业大数据能力创新的方向,部分数据,开放,实时,/,近实时,封闭,延时,报表,/KPI,“,大,”,数据,更深入,大数据在汽车制造企业的应用,企业级数据,行业数据,跨行业数据,企业传统数据,供应商数据,订单数据,维修记录,分销商数据,客户数据,资源数据,生产数据,产品数据,运营数据,打包价格,客户行为,传感器数据,最终客户需求,客户建议和意见,竞争对手情况,业界预测,行业动态,政策法规,保险,电子商务,交通天气,金融贷款,地理位置,热点事件,旅游市场,公共安全,文化体育,车饰周边,微博微信,共享的大数据平台,深度分析,高敏捷性,高度可伸缩性,实时,市场宣传和精准营销,提升客户服务和满意度,把握,市场需求和供应,掌握车辆状态和质量提升,支持管理决策和集团管控,大数据在汽车制造行业大有作为,保证基础信息质量，保证数据揭示的信息达到最佳使用效果,产品创新,供应优化,精准营销,服务提升,深入洞察客户所想，所需，所感，所在及所得,通过大数据连接客户和产品,加强客户和产品生命周期管理,客户,销售,营销,忠诚度,服务,驾驶习惯,喜爱偏好,购买行为,品牌形象,市场定位,营销渠道,置换,设计,研发,服务,销售,供应,生产,感知客户行为，实时精准营销与服务,目录,大数据综述,荣之联企业大数据平台方案,大数据平台建设方法,汽车制造业应用大数据畅想,案例,典型案例：新华社新媒体数据库项目,项目背景,客户收益,解决方案,基于大数据与云计算技术体系理念和技术架构基础上，建立一个全新的新媒体数据库，并实现工作素材库、工作库、应用库和知识库的架构格局,。,为全球一体化多媒体采编与数字加工平台，新媒体多元化加工开发与集成服务平台等一系列关键业务系统提供数据存储、全文检索、数据库及其基础应用服务,。,全面提升新媒体数据库的应用服务能力，达到对外服务商业化的标准,。,整合,更多的社会资源,，组建,知识库群，进而形成决策智库，服务于各级政府决策，提升新华社在政府决策中的影响力,根据用户的兴趣特点和购买行为,，,实现个性化推荐，拓展了具有很大,潜力的长,尾客户,典型案例：贵州移动用户互联网行为分析项目,项目背景,客户收益,解决方案,随着,3G,爆发性增长和智能手机普及，移动互联网发展一日千里，流量猛增大大超前运营商预期，另一方面，无论在移动还是固定网络，语音通信市场目前已经趋向饱和，基于语音通信的增值业务已有明显下降的趋势；随着移动互联网的飞速发展，语音业务的经营必然被流量增值业务的经营所取代。,基于,用户,WAP,上网行为分析，实现对客户内容偏好、客户网络行为偏好和互联网标签的筛选，助力于精细化营销开展。,基于,互联网行为分析，洞悉客户需求，将客户细分为娱乐、交流、学习、生活、商务、工具六大类，构建移动互联网产品标签库；通过自有互联网业务与网络热点产品进行“渗透率”、“覆盖率”、“活跃率”对比分析，构建增值业务产品市场竞争评估体系。,典型案例：中国人力资源和社会保障出版集团企业培训平台,项目背景,客户收益,解决方案,当前，我国正处于贯彻落实“十二五”规划的关键时期和实施人才强国战略的重要时期，产业布局调整、企业升级换代进入关键阶段，许多地区和行业存在着技能劳动者供不应求的现象，尤其是在传统产业和高新技术产业领域，技能劳动者特别是高技能人才严重短缺，供需之间的结构性短缺矛盾日益突出。,中国人力资源和社会保障出版集团将坚持以服务人力资源社会保障事业发展为己任，以培育人才、助力民生为工作主线，逐步打造成为我国人力资源社会保障信息交汇平台、职业教育和职业培训教材研发基地、职业安全和劳动保障知识传播中心,。,满足远程教育培训的需求（满足培训和教学两方面的功能需求），针对课件制作、精品课程