构建新一代企业大数据平台

,2,Copyright 2013 EMC Corporation.All rights reserved.,建立在,PAAS,平台上的新,一代,数据平台,解决方案,Agenda,企业新一,代,代数据,平,平台的,技,技术需,求,求,创新的,技,技术平,台,台建设,思,思路,面向大,数,数据的,分,分析,NowWhat?,SoWhat?,What?,大数据,分,分析,企业内,、,、外部,的,的结构,化,化和非结构化,数,数据,数据量在TB级以上,以数据,挖,挖掘、,预,预测和,实,实时分,析,析为主,，,，强调,对,对业务,驱,驱动,传统BI分析,企业内,部,部的结构化数据,，,，,数据量,在,在GBTB级,以报表,、,、查询,和,和分析,为,为主，,反,反应当,前,前业务,现,现状,更丰富,、,、更细,致,致的客,户,户管理,大数据,分,分析在企业的应,用,用,更准确,、,、更及,时,时的营,销,销管理,更高效、更全面的风,险,险管理,Customer360oSingleView,KeyLifeEvents&NextBestAction,StressTest,&,&CreditAssessments,通用银行,业,业大数,据,据分析,平,平台,管理分,析,析类应,用,用,数据交,换,换平台,应用集市数据,区,区,核心,系统,总账,系统,国结,系统,网银,系统,系统,企业内外部半结构化、非,结,结构化,数,数据,数据,产生层,数据,交换,层,数据传,输,输,数据稽,核,核,数据处,理,理,流程调,度,度,监控告,警,警,数据,服务,层,非结构,化,化数据,区,区,沙盘演,练,练数据,区,区,用户评,价,价信息,移动互,联,联信息,元数据,数据,应用层,历史归,档,档数据,区,区HDS,客户主,题,题,协议主题,产品主题,事件,沙盘演,练,练应用,实时分,析,析应用,数据,管控,层,POS增量,财务增,量,量,库存增,量,量,采购增,量,量,增量,临时数据区,实时数据区,核心数,据,据,总账数,据,据,国结数,据,据,数据,主题数据区,社交媒,体,体信息,网银数,据,据,客户管,理,理,财务管,理,理,风险管理,管理,客户管,理,理,财务管,理,理,风险管,理,理,管理,运营管,理,理,用户访问层,决策人,员,员,管理人,员,员,数据科,学,学家,业务人,员,员,客户汇总,账户汇,总,总,机构汇,总,总,产品汇,总,总,企业大,数,数据平,台,台数据,内,内容及,实,实现技,术,术,Page7,应用平,台,台提交,请,请求访,问,问的数,据,据，包,括,括结构,化,化和非,结,结构化,两,两类,在线存,储,储周期,超,超过数,据,据生命,周,周期规,划,划的数,据,据,适合Hadoop分布式,架,架构管,理,理,无法用,二,二维表,结,结构来,逻,逻辑表,达,达的无,结,结构性,的,的数据,。,。例如,文,文本、,音,音频数,据,据等。,方便用,数,数据库,的,的二维,表,表结构,来,来逻辑,表,表达实,现,现的数,据,据，数,据,据结构,字,字段含,义,义确定,，,，清晰,。,。例如,：,：客户,信,信息、,用,用电记,录,录等。,是,是挖掘,数,数据价,值,值的主,要,要对象,。,。,支持分,析,析型应,用,用，时,效,效性较,低,低,支持前,台,台交易,系,系统查,询,询需求,，,，具有,可,可靠性,高,高、并,发,发度大,、,、采集,频,频率短,的,的特点,按数据,格,格式类,别,别划分,按数据,格,格式类,别,别划分,按数据,采,采集频,度,度划分,大数据平台,在线数,据,据,归档数,据,据,非结构,化,化数据,结构化,数,数据,准实时,数,数据,非实时,数,数据,面向贴,源,源数据,查,查询和,主,主题数,据,据整合,。,。,数据区,，,，适合X86MPP数据库,集,集群,范式化,模,模型数,据,据,面向分,析,析类应,用,用。,对应ADW和CM数据区,，,，适合MPP数据库,集,集群,维度模,型,型数据,按数据,模,模型划,分,分,Page8,企业大,数,数据平,台,台架构,原,原则平台,8,技术-跨平台,数,数据交,换,换,批量和,实,实时数,据,据采用,不,不同的,技,技术手,段,段和工,具,具，遵,循,循统一,的,的文件,接,接口标,准,准,技术-平台内,数,数据复,制,制,跨同构/异构数,据,据库（,物,物理系,统,统），,基,基于文,本,本、数,据,据库的,数,数据抽,取,取和加,载,载，数,据,据的形,式,式不发,生,生变化,，,，不涉,及,及数据,转,转换。,数据复,制,制后产,生,生的数,据,据副本,主,主要是,为,为了便,于,于数据,引,引用，,需,需要制,定,定数据,副,副本的,生,生命周,期,期管理,策,策略以,及,及保证,数,数据副,本,本的只,读,读属性。,数据-数据即,服,服务,业务人,员,员通过,逻,逻辑数,据,据对象,组,组件访,问,问数据,，,，而不,用,用关心,数,数据的,物,物理存,储,储方式,。,。通过,全,全行指,标,标口径,和,和维度,、,、度量,信,信息，,使,使业务,人,人员可,以,以较容,易,易、较,快,快地定,位,位和了,解,解数据,的,的内容,。,。,数据-数据质,量,量控制,通过一,系,系列的,技,技术和,业,业务手,段,段实现,数,数据集,成,成平台,数,数据质,量,量控制,，,，主要,体,体现在,数,数据正,确,确性（,技,技术）,、,、完整,性,性、一,致,致性（,业,业务）,、,、有效,性,性。,Page9,企业大,数,数据平,台,台架构,原,原则平,9,数据-历史数,据,据分级,存,存储和,访,访问,近线数,据,据存储,形,形式保,持,持源表,源,源结构,，,，主要,以,以数据,库,库形式,存,存储，,支,支持在,线,线数据,查,查询、,访,访问和,应,应用支,持,持，响,应,应时间,秒,秒级。,归,归档数,据,据以廉,价,价大容,量,量磁盘,方,方式存,储,储，存,储,储形式,会,会根据,数,数据环,境,境和未,来,来应用,的,的差异,，,，采用,不,不同于,源,源结构,的,的存储,形,形式。,同,同时，,归,归档数,据,据需要,创,创建“,被,被动索,引,引”并,具,具备恢,复,复到主,题,题数据,区,区或者,汇,汇总数,据,据区的,能,能力。,数据-非结构,化,化数据,管,管理,对于交,易,易和处,理,理过程,中,中形态,尚,尚不稳,定,定的非,结,结构化,数,数据，,可,可由各,平,平台根,据,据时效,性,性、一,致,致性控,制,制和完,整,整性控,制,制等要,求,求考虑,自,自行处,理,理,安全-数据访,问,问安全,对于普,通,通的查,询,询访问,应,应用，,应,应该具,备,备屏蔽,敏,敏感信,息,息的展,现,现的能,力,力。面,向,向行内,用,用户的,数,数据访,问,问，应,按,按照数,据,据的属,主,主进行,访,访问隔,离,离。,运维-系统日,常,常运行,性,性能管,理,理,在数据,量,量不断,增,增加、,访,访问用,户,户数量,的,的增长,、,、用户,数,数据使,用,用成熟,度,度的变,化,化、数,据,据ETL持续滚,动,动开发,等,等场景,的,的不断,变,变化下,，,，需要,围,围绕日,常,常性能,管,管理，,不,不断调,整,整系统,设,设计和,运,运行策,略,略。,建设新,一,一代数,据,据平台,的,的驱动,力,力,完整的,大,大规模,数,数据的,快,快速捕,获,获流程,多种类,型,型数据,的,的存储,数据的,实,实时共,享,享与交,换,换,海量&剧增数,据,据的支,撑,撑能力,传统数,据,据仓库,技,技术和,新,新技术,的,的结合,Hadoop技术的,合,合理运,用,用与性,能,能,Agenda,企业新一,代,代数据,平,平台的,技,技术需,求,求,创新的,技,技术平,台,台建设,思,思路,CONSUMERGRADE,先行者:服务于,海,海量客,户,户的互,联,联网巨,头,头企业,Mainframe,Software-Defined Datacenter,NewData-fabrics,新的客,户,户体验,新的业,务,务模式,由服务,于,于海量,客,客户的,互,互联网,巨,巨头企,业,业引领,潮,潮流,Client,-,-Server&Web,Software-Defined Datacenter,New Data-fabrics,私有的数据中心与基础架构,CONSUMERGRADE,先行者:服务于,海,海量客,户,户的互,联,联网巨,头,头企业,Mainframe,Software-Defined Datacenter,NewData-fabrics,新的客,户,户体验,新的业,务,务模式,由服务,于,于海量,客,客户的,互,互联网,巨,巨头企,业,业引领,潮,潮流,Client,-,-Server&Web,Software-Defined Datacenter,New Data-fabrics,私有的数据中心与基础架构,存储并,且,且在非,常,常大量,的,的数据,上,上进行,分,分析,CONSUMERGRADE,先行者:服务于,海,海量客,户,户的互,联,联网巨,头,头企业,Mainframe,Software-Defined Datacenter,NewData-fabrics,新的客,户,户体验,新的业,务,务模式,由服务,于,于海量,客,客户的,互,互联网,巨,巨头企,业,业引领,潮,潮流,Client,-,-Server&Web,Software-Defined Datacenter,New Data-fabrics,私有的数据中心与基础架构,快速,应用开,发,发,存储并,且,且在非,常,常大量,的,的数据,上,上进行,分,分析,CONSUMERGRADE,先行者:服务于,海,海量客,户,户的互,联,联网巨,头,头企业,Mainframe,Software-Defined Datacenter,NewData-fabrics,新的客,户,户体验,新的业,务,务模式,由服务,于,于海量,客,客户的,互,互联网,巨,巨头企,业,业引领,潮,潮流,Client,-,-Server&Web,Software-Defined Datacenter,New Data-fabrics,私有的数据中心与基础架构,快速,应用开,发,发,存储并,且,且在非,常,常大量,的,的数据,上,上进行,分,分析,大规模,自动化,运,运维,企业级,的,的需求,快速,应用开,发,发,Mainframe,Client,-,-Server&Web,CONSUMERGRADE,存储并,且,且在非,常,常大量,的,的数据,上,上进行,分,分析,新的客,户,户体验,新的业,务,务模式,由服务,于,于海量,客,客户的,互,互联网,巨,巨头企,业,业引领,潮,潮流,大量设备,海量日志,多种应用,无处不在的数据采集,Software-Defined Datacenter,New Data-fabrics,来自金,融,融企业,的,的独有,需,需求,快速,应用开,发,发,Mainframe,Client,-,-Server&Web,CONSUMERGRADE,存储并,且,且在非,常,常大量,的,的数据,上,上进行,分,分析,新的客,户,户体验,新的业,务,务模式,由服务,于,于海量,客,客户的,互,互联网,巨,巨头企,业,业引领,潮,潮流,大量设备,海量日志,多种应用,无处不在的数据采集,Software-Defined Datacenter,New Data-fabrics,收集数,量,量庞大,的,的事件,数,数据的,同,同时对,特,特定交,易,易事件,进,进行实,时,时反应,与传统,应,应用和,基,基础架,构,构有机,配,配合,来自金,融,融企业,的,的独有,需,需求,快速,应用开,发,发,Mainframe,Client,-,-Server&We