大数据平台规划方案23

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,*,单击此处编辑母版文本样式,的,的,单击此处编辑母版标题样式,*,大数据平台规划方案汇报,目 录,二,、大数据平台整体规划,一、大数据应用发展趋势,大数据,所谓“大数据”，指的是所涉及的数据量规模巨大到无法通过目前主流软件工具，在合理时间内达到截取、管理、处理、并整理成为帮助企业经营决策更积极目的的信息。,大数据处理技术代表了新一代的技术架构，这种架构通过高速获取数据并对其进行分析和挖掘，从海量形式各异的数据源中更有效地抽取出富含价值的信息。,从大量数据中挖掘高价值知识是各界对于大数据的一个共识。,海量数据可广泛获得，所稀缺的是如何从中挖掘出智慧和观点。,Google,首席经济学家,Hal Varian,大数据主要被用于分析和决策，,企业用以分析的数据越全面，分析的结果就越接近于真实。大数据分析意味着企业能够从这些新的数据中获取新的洞察力，并将其与已知业务的各个细节相融合,，对企业产生新的价值。,大数据对电信运营商的应用价值体现,3,1,5,4,2,自助分析、生产管道,可视化、资源解耦随,需而动，营销实时，,以业务效率提升为标志。,提升业务效率,数据集中到数据中心,，多数据源管理，透,明服务支持，实时的,决策和预测能力提升,整体经营管理水平。,增强管理水平,数据开放服务、与,OTT,厂商合作的后向收费、,广告等新业务,.,创新商业模式,互联网化的电子渠道,全景体验、个性化商,品推荐、,LBS,位置营,销、面向客户个体的,深度洞察,提升客户体验,以技术驱动为标志，内,存计算、,MPP,、,CEP,分而治之的分布式计算,让运营商实时高效决策,.,技术高效、低成本,数据平台现状,精细化营销数据中心,营账系统,经分,(BI),GN,口上网话单,终端,(DM),VAC,短彩信中心,语音通话详单,客服接触记录,流媒体平台详单,位置信令话单,基站信息,116114,企业黄页信息,渠道应用助销信息,经过一二期的建设，精细化运营平台的数据中心，已经成为,最大,、内容最丰富,的数据仓库；,随着,数据量的增长,，需要对基础架构做长远规划；,有必要深入,挖掘数据价值,，研究新的商业模式，将成本中心转化为利润中心,6,扩展性,增量式的、几乎无限的扩展,可用性,要求系统总是在线运行,灵活性,灵活可动态改变的数据模型,扩展性,纵向扩展,横向扩展,分布式,资源集中,计算和存储分布,可用性,单份数据,数据复制,一致性,不要使用分布式事务处理,大数据处理的需求和特点,低成本运营,一体化运营,精细化运营,全网运营,实时、智能化运营,集中化建设、管理和维护,可不断线性扩展,提高资源综合利用率,标准化功能组件，可共享可复用,按业务量、按需支付,BASS,与,BOSS,、,CRM,的一体化,BSS,与,MSS,、,OSS,、,VAS,等跨域一体化,对外部客户和应用的一体化,片区化、网格化管理,长尾市场、小众市场的支撑,个性化、短周期需求的满足,异地客户、家庭客户、集团客户,一点接入、全网服务、全网客户画像,全国统一套餐、全网营销、统一客服,实时数据获取、处理、分析,智能化主动事件触发,智能管道,移动互联网,业务运营发展趋势,对业务,支撑平台的集中化要求,对,数据,架构的集中化,要求,集中化、大容量、高扩展、高可用数据库平台：支持全网型数据、跨域数据的整合，形成集中化管理的的企业级数据中心,高性能：,支持,3G,时代更高的实时性,要求、支持,动态资源共享：支持多租户管理、资源动态按需供应,可重用、标准化组件：形成可重用组件，支持一次开发、各省共享的模式，形成规模型效益,数据集中化趋势使得运营商面临着海量数据的存储及分析问题，大数据在支撑移动业务发展趋势中，充当重要角色。,电信运营商数据集中化趋势,8,电信运营,面临的大数据挑战,移动互联网和个人消费领域业务扩展,和,CEM,导致海量数据的及时分析带来挑战,运营,商一体化集中运营和透明管控，催生巨大的经营分析数据,仓库,，对大数据的存储、性能、开放带来挑战,DPI,和信令监测，产生的大量事件在存储和用户通信行为分析的实时处理性能带来挑战,ICT,融合，核心网络、运营支撑和,VAS,业务数据的融合催生海量,User Profile,并集，对大数据的关联分析计算效能带来挑战,移动互联网流量井喷与客户行为分析,业务融合、能力互通带来数据融合,提升客户体验要求分析网络服务数据,IT,系统集中化和行业数据价值挖掘,BSS BI,数据：,河南,17,个地市，每天抽取正常用户数,7000,多万，拨备用户数,3000,多万，,DW,层用户表总量,1,亿多条,；语音清单每天,2.7,亿条数据,，,GPRS,清单,每天,4.2,亿条数据,；账务每天,4.7,亿条数据,；,GPRS,文件每个,100M,左右，其它文件,25M,。,日接口数据量：,2000G,，其中话单,220G,，,WAP,清单,300G,，,工单服务,200G,，,用户、帐务,300G,，其它,980G,。,每月,124TB,数据量入库，历史数据保留,1,年，总数据量,1.45PB,。,按照用户数简单测算,6.5,亿用户下，总数据量,10PB!,总部,3G,互联网访问记录查询及分析系统：,全国,每日新增,10TB,数据，,每月近万亿条,记录，要,存放,6,个月,，约,2PB,的上网记录数据。上网记录入库时间小于,30,分钟，原始上网记录保留,6,个月。上网,查询速度不高于,1,秒，并发查询数,1000,请求,/,秒,。,集群规模,188,个数据节点，存储容量,2.6 PB,传统,数据仓库无法有效存储日益增长的业务,数据存储需求,基础,数据,（,用户资料，产品订购信息）：,15G/,日*,365+40G*12,月,=5T/,年,考虑,20%,的业务增长率后为,：,6T,/,年,用户上网数据,话单数据：,250T/,年,考虑,20%,的业务增长率后为：,300T/,年,MR,数据,话单数据,：,634G/,日,634G/,日*,365,=227T/,年,考虑,20%,的业务增长率后为,：,272T/,年,BSS,数据,新增,新增,评估中,日使用流量,（,TB,）,6,月,10,月,随着业务发展数据量的增加，随着应用复杂导致的数据量增加，这些数据量导致了数据存储和处理压力；数据仓库无法线性扩容，管理难度加大，成本高扩容压力大，效率下降等,传统数据仓库只保存处理后的汇总数据。在大,数据架构下需要对用户原始话单进行长期保存。需要扩容大量存储空间。,大数据使得现有的数据处理方法面临新问题,用户层,现平台的数据保存周期,大数据的数据保存周期,应用层,KR/CB/DM,层,永久保留,至少,2,年,数据存储层,MK,层,永久保留,至少,2,年,DW,层,5,个月,永久保留,数据获取层,ODS,层,37,天,永久保留,面对海量的数据压力，需要大数据平台,提供可供线性扩容的存储能力。,每个应用需求的变化就是一场灾难。由于数据处理与业务的紧密关联可能需要对中间每个处理环节进行逐个调整。重新生成数据的周期也非常缓慢。,由于传统数据仓库的数据处理流程与业务保持紧密关联。整个数据加工流程为最终应用服务。为缓解存储压力在数据抽取和清洗阶段会过滤掉与业务无关的数据记录和字段。,大数据使得现有的数据处理方法面临新问题,数据源,明细数据层,（,DW,）,汇总层（,MK,）,报表数据,标签库,指标数据,客户统一视图,应用层,DW&MK,操作型数据,ODS,层,Oracle,数据库,精细化营销架构,短信中心,经分,DM,VAC,GN,话单,流媒体,客服系统,计费中心,MC,话单,彩信中心,MR,数据,BSS,用户互联网联系方式（总部研究院）,2,4,1,2,3,4,现网数据平台是传统关系型数据库架构。大量的用户上网、用户行为等半结构化和非结构化数据无法保存和处理，,缺乏非结构化数据的处理能力。用户上网行为等,互联网行为数据以结构化数据方式保存至数据仓库中。,传统数据,仓库无法有效应对大数据分析需求,1,现网每日用户上网,HTTP,话单达,14,亿条。每月汇总的记录条数也近,30,亿条。,随着移动互联网正在迅猛增长，,传统数据仓库将很难驾驭，无法满足数据处理时限和事务处理需求。,3,面对海量的数据压力，需要大数据平台提供快速的处理能力。,大数据使得现有的数据处理方法面临新问题,传统,数据,仓库组网将是大数据分析的瓶颈,现网精细化营销平台的数据库既存放着所有采集的原始数据，又承担所有的数据加工任务，还承载所有报表和业务应用的数据存储和计算。缺乏对数据分层分级及生命周期的有效管理。,系统,核心架构为,Oracle,数据库,+,小型机,+,磁,阵。数据存放在磁阵上，计算时由数据库服务器从磁阵读到本地后进行计算结果。随着数据,量增长，磁盘,I/O,、,网络带宽、数据库服务器的处理能力将存在,瓶颈，处理时延严重,。由于传统架构的可,扩展性,差，无法满足大数据的计算的扩容需求。,为应对海量数据处理需求,，大数据将从集中数据库向分布式数据库进行,转变。计算和存储资源都由,x86,服务器提供。,因为在移动互联网和物联网上需要有新领域的突破，不同于传统通信业务分析特点，需要对内容等非结构化、大容量信息进行有效分析，传统的架构处理吃力。,关系数据库引入对,XML,的支持仍然无法有效处理,ETL,大数据使得现有的数据处理方法面临新问题,传统数据仓库无法有效处理新型的业务数据,主要关键技术,自然语言理解，,文本分词、语义,分析，情感分析或者大规模计算技,术,非结构化数据索引技术，,如搜索,引擎倒排索引技术,多媒体处理，,包括图像识别，语,音识别，多媒体索引等技术,传统数据,仓库无法有效支撑数据合作运营,由于保存原始话单数据周期较短，合作运营无法追溯历史原始数据。,现网传统主数据库的设计只适用与向上层提供既定好的数据分析任务结果。对外开放底层数据将大大消耗系统资源，影响主库正常的数据处理流程。同时数据的处理方式及结果也恐难以满足合作运营的需要,。,大数据平台的架构将数据分层管理。在各层提供数据开放接口，以满足不同数据需求。将更有效支撑数据合作运营。同时历时数据能促使合作在第一时间就开展起来。,目 录,二、大数据平台整体规划,一、大数据应用发展趋势,大数据平台目标架构及定位,准实时采集,批量采集,Hadoop,平台,MPP,，基于,X86,平台,主数据仓库,分布式数据库,基于,X86,平台,数据采集（云化,ETL,，流数据处理,、爬虫,）,数据层,获取,层,能力层,精细化营销,智能运营,物联网应用,应用商店,客服应用,基础分析能力,数据挖掘能力,实时分析能力,自助分析能力,多维分析能力,数据共享,能力,指标,应用,报表,应用,主题分析,专题分析,互,联网,GN,口,半结构化、非结构化数据,BSS,经分,DM,VAC,MC,话单,业务平台,结构化数据,数据源,分布式,文件系统,HDFS,记录明细数据,HBase,M/R,Hive,记录汇总数据,数据统一服务和,开放,SQL,、,FTP,、,WS,、,MDX,、,API,、,分布式数据库（,MPP,）：,存储加工、关联、汇总后的业务数据，并提供分布式计算，支撑数据深度分析和,数据挖掘能力,，向主数据仓库输出,KPI,和高度汇总数据。,主数据仓库（与,MPP,合设）：,存储指标数据、,KPI,数据和高度汇总数据。,Hadoop,云平台,：,负责存储海量的流量话单数据，提供并行的计算和非结构化数据的处理能力，实现低成本的存储和低时延、高并发的查询能力。,数据开放接口,：,向大数据应用方提供大数据平台的能力。,数据采集（,ETL,）：,负责源数据的采集、清洗、转换和加载包括：,1,、把原始数据加载到,Hadoop,平台。,2,、把加工后的数据加载分布式数据库