数据中心相关技术与应用(大数据相关)39

,母版标题样式（微软雅黑体,28,号加粗）,单击此处编辑母版文本样式（,24,号黑体）,第二级华文细黑,22,号字体,第三级华文细黑,20,号字体,第四级华文细黑,16,号字体,第五级华文细黑,12,号字体,备注,#,红色,25,绿色,40,蓝色,80,黑色淡色,50%,绿色,RGB160,绿色,RGB200,标题,28,号微软雅黑加粗,第一级,24,号黑体,第二级,22,号华文细黑,第三级,20,号华文细黑,第四级,16,号华文细黑,第五级,12,号华文细黑,数据中心相关技术与,应用,2013-12-02,目录,MPP数据库,在,在数据,中,中心的,应,应用,企业级,数,数据中,心,心定义,数据中,心,心中的,大,大数据,数据中,心,心BI技术选,型,型描述,Hadoop在数据,中,中心的,应,应用,数据中,心,心ESB技术研,究,究,大数据,技,技术与,传,传统数,据,据中心,的,的集成,传统的,数,数据仓,库,库的架,构,构,数据源,抽取、,转,转换、,加,加载,业务数,据,据集市,企业数,据,据仓库,ETL,元数据,前端分,析,析展现,工,工具,查询工,具,具、应,用,用,新一代数据中,心,心定义,企业数,据,据中心,是,是指建,立,立在数,据,据仓库,与,与数据,仓,仓库之,上,上的决,策,策分析,应,应用，,应,应包括,数,数据源,、,、数据ETL、ODS数据库,、,、数据,仓,仓库、,数,数据集,市,市、商,务,务智能,应,应用、,数,数据管,理,理等功,能,能。,数据中心应,该,该具备,常,常见数,据,据的处,理,理与管,理,理能力,，,，具备,对,对结构,化,化、半,结,结构化,、,、非结,构,构化等,数,数据的,处,处理能,力,力，同,时,时支持RDB、MPP、NoSQL，同时,具,具备数,据,据的通,用,用管理,能,能力，,以,以数据,为,为中心,进,进行平,台,台建设。,数据中,心,心数据,平,平台在,接,接口层,要,要丰富,又,又简单,，,，可以,提,提供各,种,种应用,所,所需接,口,口，最,大,大程度,匹,匹配已,有,有接口,，,，对应用,改,改动需,求,求力求,最,最低。,一个合,理,理的数,据,据平台，不能等,同,同于Hadoop或者其,他,他某项,单,单一技,术,术建设；整体数据中心的建设,，,，从数,据,据采集,层,层、存储层、应用层都有完,整,整的解,决,决方案，同时,具,具备平,台,台运维,管,管理、,接,接口管,理,理、数,据,据管理,功,功能；,数据中,心,心数据,管,管理能,力,力至少,应,应包含,：,：1.元数据,管,管理，2.数据质,量,量管理,，,，3.数据安,全,全管理,，,，4.数据可,视,视化管,理,理，5.数据生,命,命周期,管,管理。,数据平,台,台必须针对数,据,据提供,完,完整方,案,案，同,时,时兼顾,应,应用接,口,口、其,他,他平台,接,接入，,系,系统管,理,理、系,统,统调度,等,等功能,。,。,任何一,种,种单一,技,技术都,难,难以适应数据中,心,心数据采,集,集、存储,、,、处理,和,和对外,服,服务的,需,需求，多种技,术,术并存,才,才是发,展,展趋势。RDB、MPP、Hadoop,采集,处理层,数据抽取,/,加载,/,检查,ETL,调度,数据交互、转换,数据映射,数据层,数据,存储,数据聚合服务,数据处理服务,数据查询服务,事件,通知服务,信息,子层,KPI,报表,统一视图,知识库,接口层,服务管理,资料,类数据服务,指标,类数据服务,配置,类数据服务,清单,累数据服务,日志类数据服务,OPEN API,数据管理功能,数据生命周期管理,数据可视化管理,数据质量管理,采集,层数据质量管理,数据质量规则、知识库,数据质量稽核指标运维,数据安全管理,4A,认证,隐私信息保护,权限管控、审计追踪,元数据管理,元数据获取管理,元数据存储与模型管理,元数据分析、展现、服务,技术、业务,元数据管理,ODW-RDB,ODW-MPP,分布式文件系统,分布式,关系数据库,分布式,计算,数据分发同步处理,用户管理,权限管理,备份与恢复,日志管理,设备监控指标,资源池指标,数据库指标,分布式系统指标,指标汇总,存储管理,资源池管理,设备管理,作业调度管理,事件自动化,规则配置,执行引擎,性能预警,调度异常,控制,北向接口管理,数据采集接口管理,数据共享配置,通用接口配置,平台,管理功能,数据服务功能,综合分析系统,A+ABIS,应用,无线网优,综合监控系统,信令监测系统,日志上层应用,其他应用,新一代数据中,心,心功能,视,视图,数据中,心,心整体,功,功能视,图,图可以,分,分为数,据,据服务,功,功能模,块,块、平,台,台管理,功,功能模,块,块，数,据,据管理,功,功能模,块,块，共,同,同数据中心的,应,应用。,采集,处理层,数据抽,取,取/加载/检查,ETL调度,数据交,互,互、转,换,换,数据映,射,射,数据层,数据,存储,数据聚,合,合服务,数据处,理,理服务,数据查,询,询服务,数据集,市,市、OLAP,接口层,服务管,理,理,资料类数据,服,服务,指标类数据,服,服务,配置类数据,服,服务,清单累数据,服,服务,日志类,数,数据服,务,务,OPEN API,数据管,理,理功能,数据生,命,命周期,管,管理,数据可,视,视化管,理,理,数据质,量,量管理,采集层数据,质,质量管,理,理,数据质,量,量规则,、,、知识,库,库,数据质,量,量稽核,指,指标运,维,维,数据安,全,全管理,4A认证,隐私信,息,息保护,权限管,控,控、审,计,计追踪,元数据,管,管理,元数据,获,获取管,理,理,元数据,存,存储与,模,模型管,理,理,元数据,分,分析、,展,展现、,服,服务,技术、,业,业务元数据,管,管理,DW-RDB,DW-MPP,分布式,文,文件系,统,统,非关系数,据,据库,分布式计算,数据分,发,发同步,处,处理,数据服,务,务功能,用户管,理,理,权限管,理,理,备份与,恢,恢复,日志管,理,理,设备监,控,控指标,资源池,指,指标,数据库,指,指标,分布式,系,系统指,标,标,指标汇,总,总,存储管,理,理,资源池,管,管理,设备管,理,理,作业调,度,度管理,事件自,动,动化,规则配,置,置,执行引,擎,擎,性能预,警,警,调度异,常,常控制,北向接,口,口管理,数据采,集,集接口,管,管理,数据共,享,享配置,通用接,口,口配置,平台管理功,能,能,应用展,示,示层,企业数据中,心,心,元数据,获,获取,采集层数据,质,质量定,义,义、稽,核,核,存储库,模,模型定,义,义,采集数,据,据分发,目录,MPP数据库,在,在数据,中,中心的,应,应用,企业级,数,数据中,心,心定义,数据中,心,心中的,大,大数据,数据中,心,心BI技术选,型,型描述,Hadoop在数据,中,中心的,应,应用,数据中,心,心ESB技术研,究,究,大数据,技,技术与,传,传统数,据,据中心,的,的集成,数据中,心,心引入,大,大数据,的,的意义,与,与原则,随着半结构化,、,、非结,构,构化数,据,据、互联,网,网数据,等,等新型,数,数据源,的,的引入,以,以及分,析,析需求,对,对分析,深,深度和,广,广度的增加，,以,以移动,运,运营商,行,行业为,例,例，越,来,来越需,要,要大数,据,据。主要包,括,括如下：,1、数据,规,规模方,面,面：GPRS流量话,单,单的条,数,数和数,据,据量已,经,经超过,了,了语音,详,详单，,而,而位置,信,信令、Gn信令、,客,客服语,音,音、互,联,联网外,部,部数据,等,等规模,更,更大，,且,且还处,在,在不断,增,增长的,趋,趋势。,2、数据,类,类型方,面,面：逐,步,步从OLTP系统中,获,获得的,结,结构化,数,数据，,过,过渡到,结,结构化,数,数据和,互,互联网,网,网页、,上,上网日,志,志等非,结,结构化,数,数据和,半,半结构,化,化数据,共,共存。,3、对数,据,据的使,用,用方面,：,：不仅,有,有批量,的,的数据,加,加工和,前,前台界,面,面的访,问,问，临,时,时统计,、,、数据,挖,挖掘等,访,访问需,求,求也逐,步,步增多,。,。对历,史,史明细,数,数据的,访,访问增,多,多。对,数,数据访,问,问的及,时,时性增,强,强。,随着数,据,据中心,越,越来越具备大,数,数据平,台,台的特,征,征，利,用,用传统,的,的单一,数,数据仓,库,库技术,就,就难以,满,满足高,效,效低成,本,本的需,求,求，需,要,要引入,相,相应的,大,大数据技术。,新技术的引入,不,不能影,响,响原有,的,的使用,感,感知，,需,需要按,照,照分阶,段,段逐步,引,引入的,方,方式。,可,可以参,考,考如下,的,的几个,引,引入原则：,1、先增,量,量后存,量,量。现,有,有的数,据,据处理,系,系统引,入,入大数,据,据处理,技,技术，,面,面临着,模,模型改,造,造、流,程,程改造,等,等一系,列,列的问,题,题，可,以,以首先,在,在新上,线,线应用,引,引入大,数,数据处,理,理技术,。,。,2、先边,缘,缘后核,心,心。对,于,于原有,功,功能的,迁,迁移，,可,可以先,迁,迁移非,关,关键的,应,应用。,这,这些应,用,用不涉,及,及到关,键,键生产,任,任务，,可,可以忍,受,受数据,处,处理延,迟,迟和故,障,障修复,时,时间较,高,高等可,能,能出现,的,的风险,。,。,3、先简,单,单后复,杂,杂。数,据,据处理,逻,逻辑较,简,简单的,应,应用也,可,可以首,先,先尝试,引,引入大,数,数据处,理,理技术,，,，降低,实,实施的,复,复杂度,，,，积累,运,运维经,验,验。,通过在,大,大数据,处,处理技,术,术的规,划,划、实,施,施及运,维,维过程,中,中积累,经,经验及,教,教训，,不,不断提,升,升和完,善,善大数,据,据技术,的,的应用,水,水平，,逐,逐步拓,展,展大数,据,据技术,应,应用领,域,域。,大数据,在,在数据,中,中心的,应,应用场,景,景,大数据,技,技术可,以,以应用,在,在以下,场,场景（,包,包括但,不,不限于,）,）：,1、原数,据,据仓库,底,底层结,构,构化数,据,据处理,（,（ETL或ELT）。底,层,层结构,化,化数据,处,处理计,算,算任务,重,重但复,杂,杂性不,高,高，不,涉,涉及多,表,表关联,，,，适合,引,引入大,数,数据技,术,术实现,高,高效低,成,成本。,例,例如：对运营,商,商的清,单,单（语音,详,详单、GPRS清单、WLAN清单等,）,）的清,洗,洗、转,换,换、汇,总,总等。,2、半结,构,构和非,结,结构数,据,据处理,与,与分析,。,。例如,对,对上网,日,日志、,网,网络信,令,令、客,服,服语音,等,等数据,的,的处理,和,和分析,，,，这些,数,数据难,以,以利用,传,传统数,据,据仓库,技,技术进,行,行处理,和,和分析,。,。,3、数据,集,集市。地数据集市应,用,用较为,独,独立，,且,且对可,靠,靠性的,要,要求并,不,不是十,分,分严格,，,，适合,作,作为引,入,入大数,据,据技术,形,形成资,源,源池，以移,动,动运营,商,商为例,，,，可实,现,现各地市,、,、各部,门,门数据,集,集市的,云,云化、,池,池化和,虚,虚拟化,，,，最终,实,实现资,源,源动态,调,调配，,达,达到高,效,效低成,本,本。,4、数据,仓,仓库数,据,据分级,存,存储。,对,对低价,值,值的细,节,节数据,以,以及长,周,周期的,历,历史数,据,据（冷,数,数据）,访,访问频,率,率较低,，,，也能,容,容忍相,对,对较长,的,的响应,时,时间，,可,可以存,储,储在成,本,本更低,的,的平台,上,上。,5、数据,挖,挖掘。,某,某些数,据,据挖掘,设,设计长,周,周期的,数,