大数据平台技术解决方案课件

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2019/11/14,#,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,大数据平大数据平台解决方案,大数据平台解决方案,大数据平台大数据平大数据平台解决方案,大数据平台解决方案,大数据平台解决方案,台解决方案,大数据平大数据平台解决方案,大数据平台解决方案,大数据平台解决方案,台解决方案,解决方案,台解决方案大数据平大数据平台解决方案,大数据平台解决方案,大数据平台解决方案,台解决方案,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2019/11/14,#,智慧楼宇智慧安防一体化管控平台建设方案,大数据平台技术解决方案,2,0,1,9,大数据平台技术解决方案2019,1,2,大数据平台方案目录,02,01,技术架构,实施方案,传统技术架构存在的问题分析,大数据平台技术架构设计,大数据平台实际案例,2大数据平台方案目录0201技术架构实施方案传统技术架构存在,经营分析系统架构演,进,0,8,年,之,前的系统情况,JDBC接口,经分系统访问门户,指标应用,报表应用,主题分析,专题分析,临时需求,M,IS,B,OSS,CRM,业务平台,结构化数据,主仓库,专题库,（,历史,库,）,报表库,前台库,O,L,A,P,集市层,E,T,L,报表库：,省,级业,务,部,门,报,表 和取数,主仓库：,基,础数,据,模,型,和,一 经、,K,P,I等关键应用,专,题,库（,历,史,库,）,：,重入,网,、,套餐分析,等,专题,应,用,和,仓,库 重要历史数据在线存储,前台库：,主,要存,放,门,户,配,置 信息和,K,P,I数据,OLA,P,：,多维分,析,数,据,库,，主题分析结果数据,经营分析系统架构演进08年之前的系统情况JDBC接口经分系,经营分析系统数据架构,面向业务的应用结果数,据,汇总,，,如,D,W,层,日 新增用户通话信息汇总,生,成新,增,用户,日,通话 报表,，供前端直接读取；,对,DW,D,层,进行,主,题内,轻,度汇,总,，,根据,业,务 需求舍弃部分维度，实现轻度汇总,，,如,计费 话单日汇总将话单中时间戳信息汇总生成时,段信息,；对轻度汇总的结果进行跨主题的关 联，如,服务域中的用户信息关联事件域中的 计费语音话单汇总结果，生成日新增用户通 话信息,；,仓库明,细,数据,，,对,OD,S,数,据进行,清,洗、,转,换、按业务,归,类形,成,集团,规范,要求,的,7,大,概念,域,；如,将用户资料信息归类,为,服务,域,、将,计,费语 音话单归类于事件,域,；,OD,S,层存储,的,是从,外,围,系,统采集,的,接口,数,据，与外围系统的数据结构,基,本保,持,一致,如,用户 资料信息、计费语音话,单,；,ST,层,KPI,主题,精确营销,专题,模型,DW,D,层,参 与 人,事 件,服 务,资 源,帐 务,营 销,财 务,报表,一经,OD,S,层,BO,SSC,R,M,V,GOP财务网管,DW层,个人客户 统一视图,参与,人,集团客户,统一视图,事件服务资源帐务营销财务,经营分析系统数据架构面向业务的应用结果数据汇总，如DW层日,经分系统访问门户,指标应用,报表应用,主题分析,专题分析,临时需求,报表库,O,L,A,P,ES,O,P,数据挖掘平,前台库,V,GO,P,集市层,地市数据,中心,创新平台,经营分析系统架构演进,-,业,务驱动,VG,O,P,：,根据集团规范,要,求,建 设，支撑数据业务发展,ES,O,P,：,根据,集团规范,要,求,建,设,，,支撑政企业务发展,数据,挖,掘,平,台,：,建,设,，,提,供,体,系化,数,据,挖,掘,专,业,能,力,，,支撑,数据挖掘应用，如一人,多,卡,地市数据分析中心,启动,地,市,集,中,化,建,设,项,目,，,加 强地市一线支撑,创,新,平,台,：,建,设,，,承,载,地,市,试,点应,用,，,如,存,量,维,系,、,校,园,市 场分析等,台,JDBC接口,M,IS,B,OSS,CRM,业务平台,结构化数据,主仓库,专题库,（,历史,库,）,E,T,L,经分系统访问门户指标应用报表应用主题分析专题分析临时需求报表,经营分析系统架构演进,-,数,据架,构,驱动,随着数据源的不断引入和,业,务自,身,的发,展,，数,据,仓库,也,在不,断,扩容,，,以满,足,业务,发,展需求,数,J,据,D,B,交,C,换,接,平,口,台,接 口 工 具,接 口 工 具,应急库,经分系统访问门户,指标应用,报表应用,主题分析,专题分析,临时需求,M,IS,B,OSS,CRM,业务平台,结构化数据,主仓库,历史库,互联网,半/非结构化数,据,DPI,信令,互联网日志,Ha,d,oo,p,集,群,报表库,O,L,A,P,ESOP,创新平台,前台库,V,GO,P,集市层,E,T,L,地市数据 中心,数据挖掘平,台,主仓库：,硬件从,P69,0,升,级,到,P59,5,、P780,历史库：,历史数据拆分，专题库转型,历史库；,E,T,L,：,从,主,仓拆,分,到,接,口机,，,减,轻,详,单拆分合并带来的计算开销；,应急库：,因每日数据变化量大，主仓 无法进行系统容灾，建设应急库，,实 现应用级容灾，保障高可用；,互联网日志,H,a,d,oo,p集群：,引,入,网络,数据，支撑流量经营重点应用落地；,经营分析系统架构演进-数据架构驱动 随着数据源的不断引入和,原有架构在,处理,海量数,据,时存,在,系统,瓶,颈，,无,法满,足,业务,要,求,仓库库当日,10,点启动入库程序，实时入库，次,日2,点完成前日完整数据入库，入库数据量2,6,.,5,亿,语音,/,GP,RS,详单,次日,11点完成前日 数据处理,次日2点钟开始处理前日完整数据，次日11点完成处理,计费准实时分发到接口机次日2点完成前日数据分发，数据量每日26.,5,亿,DP,I,需要21小时后可以看,到,昨日,数,据，,位,置信,令,需要,1,6小,时,，业,务,部门,要,求9点,钟,前看,到,昨日,业,务指标,数据采集接口机采集,D,B,2,入库、处理,0时24时48时,当日（T,+,0日）次日（T,+,1日）,接口机实时接收计费分发的详单，次日2点完成前日完整数据接收,原有架构在处理海量数据时存在系统瓶颈，无法满足业务要求仓库库,1、存储：,存在热点盘，部分磁盘I,O,P,S,较多,，,1,3,%,的磁,盘,（,共,80,块,）需,要,处理,40,%的主机I,O,。,主要处,理,的是,写,集中,的,I,O,，后,端,磁盘,的,繁忙,导,致写,数,据在 Cac,h,e,中有堆积，会导致写I,O,延迟,增,加。,热,点盘,主,要是,数,据库,日,志读,写,引起。,2、网络：,jf,r,dd,w,1,1和,j,frd,d,w,1,3,的网,卡,收发,容,量峰,值,时达,到,了规,划,值,的90,%,-,95,%,，,jfr,d,d,w,12,和,j,f,r,dd,w,14表,现,正,常,。,其,中,1,号,机,负,责,详,单,入,库、D,PI和 位置信令数据入库，,3,号机负责,传,统数,据,入库,（,客户,资,料、,订,购等,）,和,G,PR,S,上网日志数据入库。,3、主机：,每日,2,-,13,点，主机内存使用,率,较高,，,达,到,9,0%,，,C,P,U,使用,率,也较高,（,us,r,+,sys维持在,90,%,-,1,00%,）,，,其,它,时,段,内,存,、,C,P,U,使,用,正,常。,可,以得,出的结论是系统在上午,2,点到,1,3,点,之,间系,统,压力大,4、数据库：,通过分析数据，可以看到,应,急库,存,在较,多,的排,序,溢出,，,存在,排,序,溢出问题，排序溢出率较高,，,超,过,3,%,的正,常,值，,最,高时,超过80%,目前综上所述，主机、网络、存储、数据库都表现为较为繁忙，均存在瓶颈，短期需要对关键瓶颈进行优化 来缓解系统压力，但并不能彻底解决问题，从长期看需要考虑系统的扩容或者架构调整。,性能分析 结论,取,J,fr,d,dw11网卡流量情况,存储总体性能报告,原有架构,在,处理,海量数,据,时存,在,巨大,压,力,1、存储：存在热点盘，部分磁盘IOPS较多，13%的磁盘（共,目前历史库数据存储方式依然为传统的小型,机,+磁盘阵列的模式，这种模式下随着相关经分系统数据量的快,速增长而需要不断的进行系统扩容，硬件投资和运维成本较高。,硬件及运维,成本分析,经分历史库,的,数据存储周期缺乏统一管理，保持周期长短不一，同,时,容量已趋近极限，各类详单的存储周期满足不了长周期 深度趋势分析的业务需求，其,中,G,P,R,S计费详单还以年均60%的速度快速增长，网络侧的历史数据目前并没有放入历史库中，由于其数据特点（百亿级、增长快），采用传,统,数据库构建模式建设历史库，成本将过于昂贵。,范要,求,和业务,2,0,0.,1,0,0.,0.,1,、数据存储周期缺乏规,划,，容,量,趋于,饱,和，,存,储周期,不满足业务长周期趋势,分,析需,求,：,历史库各类详单要求 存储至少,6+1,月，目前只保,存,3+,1,月，,占,总数,据,量,的62%,2,、,GP,R,S,详,单,数,据,量,占,全,部,详,单,数,据,量,51,%,，而,数据还在快速增长，年,增,速,60,%,：,3,、海量网络侧数据目前,没,有放,入,在历,史,库,原有架构,在,存储,海量数,据,时存,在,巨大,压,力,业务,日记录条数（亿）,日文件大小（G）,DPI,70,1900,互联网内容,40,950,用户位置,12,150,历史库数据分布,数据分层,分类,数据量（G）,周期（月）,D,W,D,6024,6,CDR,GPRS,26160,2+1,CA,L,L,19967,3,+1,SMS,8133,3,+1,其他,1894,3,+1,DW,12342,6至12,ST,15443,6至12,合计,89963,目前历史库数据存储方式依然为传统的小型机+磁盘阵列的模,应对收入增长放缓，成本压力加大的趋势,建设,“,低成本，高效,益,”的支撑系统,应对收入增长放缓，成本压力加大的趋势,12,XX,大数据平台方案目录,02,01,技术架构,实施方案,传统技术架构存在的问题分析,XX,大数据平台技术架构设计,XX,实施团队介绍,XX,大数据平台实际案例,12XX大数据平台方案目录0201技术架构实施方案传统技术架,XX,大数据技术架构,管控中心,数据资 产管理,系统平 台管理,安全管,理,系统运 维管理,统一开 发管理,采集 中心,存 储 计 算 平 台,数据采集与解析,(,Flume),信令采集与解析,(,DPI+DFI),网页采集与解析,(,M,Q,/,R,ed,is),存储层,计 算 层,批处理平台,Hi,v,HDFS,HB,as,e,Map Reduce,e,MahoutR,Zookeeper,Hado,op,S,par,k,S,par,k sql,流处理平台,M,em,ory,S,pa,r,k,Zookeeper,S,torm,S,pa,r,k,S,trea,m,i,n,M,em,ory,V,o,l,tD B,RDB,M,S,M,PP,HBA,SE,文件,服务 中心,消息,API,SDK,应用,中心,S,V,G,GIS,F,L,EX,MY,SQL,运营,中心,MY,SQL,ESB,管控中心,实现对数据中心中数据,资,产进,行,全流,程,、标,准,化管,控,。全,面,保障 数据资产存储安全、生,产,过程,的,高品,质,、以,及,利用,的,高效率,应用中心,以提高管理和生产经营,效,率、,强,化协,同,能力,为,目标,，,以数,据,分析 驱动企业管理流程提升,运营中心,以数据变现为价值要求,，,提供,快,速、,高,效和,准,确的,封,装能,力,供调 用,服务