大数据技术应用实施方案建议

,学习,创造,超越,共享,#,大数据技术,应用实施方案建议,信息技术管理部,2013,年,6,月,1,目录,我行新一代,数,数据集,成,成平台能力要求,业内大,数,数据技,术,术的特性,及,及应用研,究,究,我行大数,据,据技术,的,的应用,策,策略,2,新一代,管,管理分,析,析类应,用,用需求,3,运营与,信,信息安,全,全,运行日,志,志存储,与,与分析,安全日,志,志存储,与,与分析,营销支持,加强客户洞察分析，实现灵活深入的客户,细分,；,科学的客户行为及渠道经营,分析,报告与决策,全面的计划预算管理,价值导向的管理会计,；,流程化的财务会计体系,集成高效的财务运作,及时、准确的财务报告,风险管理,满足新协议合规和内部管理需要的全面风险管理,体系,市场风险、信用风险、操作风险等全面的风险计量；,风险建模,监管合规支持,全面整合的反洗钱和欺诈风险管理,；,监管合规长时间保存数据需求；,审计供数；,非结构化,数据保存,数据管控支持,数据完整、全面（广度、深度）；,数据可信；,数据易用；,数据生命周期管理,应用需求,新一代,管,管理分,析,析类应,用,用对于,大,大数据,处,处理分,析,析技术,提,提出了,高,高要求,新一代,数,数据集,成,成平台,数,数据特,点,点与挑,战,战,4,Volume,数量大,数据内容丰富（账户信息、账户明细、流水信息等）,数据存储周期长（监管要求保存,20,年）,PB,级的海量数据,Variety,种类多,数据类型多样，包括结构化、半结构化、非结构化数据，如交易数据、日志数据、影像视频数据等等,Velocity,速度快,近实时数据处理（即席数据分析）,实时访问,(,如历史数据查询,),流式数据计算（如反欺诈）,大数据,时,时代，,技,技术面,临,临着Volume、Variety、Velocity3V的挑战,目录,我行新一代,数,数据集,成,成平台能力要求,业内大,数,数据技,术,术的特性及应用研究,技术特,性,性研究,技术应用研,究,究,我行大数,据,据技术,的,的应用,策,策略,5,大数据,技,技术一,览,览图,6,大数据,技,技术主,要,要包含,应,应用领,域,域（如,商,商务智,能,能）、,基,基础设,施,施领域,（,（结构,化,化数据,库,库技术,、,、分析,型,型数据,技,技术等,）,）和基,础,础技术,领,领域的,各,各种相,关,关技术,。,。,重点调,研,研的相,关,关大数,据,据存储,技,技术产品调,研,研,TD Aster Data,基于商,用,用硬件,的,的分布,式,式数据,库,库技术,HADOOP技术,对于大,数,数据技,术,术、产,品,品的调,研,研分两,类,类进行,，,，即关,系,系型数,据,据库与,非,非关系,型,型技术,，,，前者,以,以基于X86的MPP技术为,代,代表，,后,后者以HADOOP技术为,代,代表,大数据,技,技术特,性,性研究,结,结论,8,分析维度,X86 MPP,HADOOP,数据特性,仅支持结构化数据,支持非结构化、半结构化、结构化数据,扩展性,可扩展至数百节点,可扩展至数千个节点,数据可靠性,每份数据只有一个备份,每份数据可有多个备份,产品成熟度,介于传统关系型数据库与,HADOOP,之间,新技术，产品与技术均不成熟,易开发性,相对容易,与传统数据库差异较大，开发复杂,运维管理,缺少统一的运维管理工具,复杂，缺少统一的运维管理工具,人员技能要求,一般，仅需熟悉传统关系型数据库,高，需要对产品、技术及程序设计有深入理解,基于X86的MPP技术与,传,传统分,析,析型数,据,据库的,差,差异不,大,大，但,是,是提供,了,了良好,的,的扩展,性,性，适,合,合替代,现,现有技,术,术进行,关,关系型,数,数据的,分,分析,HADOOP技术支,持,持的数,据,据类型,多,多，扩,展,展性强,，,，适合,海,海量非,结,结构化,的,的数据,分,分析，,但,但技术,不,不成熟,，,，需逐,步,步试点,目录,我行新一代,数,数据集,成,成平台能力要求,业内大,数,数据技,术,术的特性及应用研究,技术特,性,性研究,技术应用研,究,究,我行大数,据,据技术,的,的应用,策,策略,9,美国银,行,行大数,据,据技术,应,应用情,况,况,10,技术类型,产品,系统,/,机柜数,集群容量,(,PB),数据量,(,PB),应用领域,使用案例,专有一体机,Teradata,24,5,3.1,数据仓库,企业,/,集中式数据仓库,Netezza,80+,2.8,1.1,数据集市,OLAP,Exadata,10+,1,0.08,数据集市（,OLAP,和,OLTP,混合）,全球人力资源部、,CRC,（客户报告中心：,22TB,）、,AMT,基于商用硬件的分布式数据库,Vertica,2,0.57,0.34,数据集市,OLAP,Hadoop,技术,Cloudera,Hadoop,若干,1.6,1.6,ETL,集团,DW,、电子商务、信用风险,数据暂存与归档,银行卡系统过期数据归档；集团数据仓库数据归档,信息安全,数据库、防火墙、应用程序等日志存储与分析,风险分析,定量风险技术,(,最大,的,Hadoop,应用,集群，,173,台机器，,1.6PB,未压缩数据,),、欺诈检测,沙箱分析,美国银,行,行在数,据,据集市,领,领域大,量,量使用X86MPP技术，HADOOP主要用,于,于ETL、数据归档、,日,日志分,析,析及风,险,险分析,等,等应用,美国银,行,行未来,大,大数据,技,技术应,用,用,11,产品,美国银行的最佳定位,战略性产品,IBM,Netezza,纯分析性的工作量的首选解决方案。高性能和高扩展性。费用较低，比,Exadata,或,Teradata,更容易进行管理。并发性方面的局限，使其适用于数据市场，或可能适合小型部门的数据仓库。,是,Oracle Exadata,适用于,I/O,要求极为严苛并需要,20 TB,以上的交易,/,分析混合工作量。能够处理同一系统中的多种工作量。也可视为适用于,20 TB,以上的分析数据库（目前运行的是标准,Oracle,数据库），因为它比,Netezza,更容易移植,是,Vertica(HP),作为一种新兴的主要候选方案，可替代,Netezza,和,Exadata,，为大型数据市场或部门数据仓库（,20 TB,以上）提供基于商品的列式数据库。通过创新的写优存储和读优存储以及经验证的,PB,级别，扩展架构。在美国银行进行了两项重大且成功的实施。,是,Sybase IQ(SAP),列存储的首个商业实施。稳定、成熟的产品。许可交易使部署不受任何限制。通过标准的,x86,服务器和,SAN,运行。以前不属于扩展解决方案，且在这方面仍未经过验证。计划作为,5-20 TB,数据市场的首选商品方案。,是,Teradata,行业标准，适用于大型、要求高和复杂的企业数据仓库，此类数据仓库需要复杂的工作量管理和其他高级功能。高度专有化、昂贵且不易获得支持。美国银行的使用应仅限于,W,数据仓库，以及可能需要与,W,进行极高水平集成的某些数据市场。,是,SAP HANA,最佳用途是为运行,SAP,软件的应用程序实现加速。对于一般的非,SAP,工作量，不必采用此解决方案。亦没有证据证明，,HANA,在,SAP,前端之外的市场广受欢迎。,否,ParAccel,产品的发展速度非常快。供应商声称自己在,POC,方面无人可及。创新的架构和光纤通信。这是此表中唯一一个仍归小型独立供应商所有的解决方案。需要考虑供应商的规模、稳定性和长期生存能力。尽管技术令人印象深刻，但目前没有计划将,ParAccel,作为战略性产品。,否,结构化,数,数据分,析,析领域,，,，Netezza、Exadata、Vertica、Teradata及SybaseIQ是美国,银,银行未,来,来的战,略,略产品,国内银,行,行同业,中国银,行,行,采用HADOOP实现系,统,统日志,的,的分析,中国农,业,业银行,进行历,史,史数据,的,的归档,中国银,联,联,历史数,据,据归档,12,目前中,行,行、农,行,行、银,联,联等都,已,已经开,始,始了基,于,于HADOOP技术的,应,应用探,索,索及规,划,划,淘宝大,数,数据技,术,术应用,情,情况,13,应用领域,批处理：,ETL,数据分析，,OLAP,大数据量分析,主要使用,Hive,点击流日志分析；,搜索排行榜和其他搜索相关的业务,机器学习,数据生命周期管理：归档存储：,历史订单明细查询,应用规模,3000,多个节点，,36PB,数据，,20,多个事业群，,150,多用户组，,3000,多用户。,Hadoop,应用发展历程,淘宝数据服务平台架构,淘宝采,用,用HADOOP技术构,建,建了完,整,整的数,据,据仓库,及,及处理,分,分析平,台,台,大数据,技,技术应,用,用研究,结,结论,14,关系型,数,数据领域,非关系,型,型数据领域,Teradata主要用,于,于数据,仓,仓库,X86MPP技术在,数,数据集,市,市中得,到,到广泛应用,HADOOP技术在,如,如下领,域,域得到,广,广泛应,用,用,数据归,档,档存储,ELT,半结构,化,化数据分,析,析,随着HADOOP技术快,速,速发展,，,，其对,关,关系型,数,数据的,处,处理支,持,持也越,来,来越强,，,，关系,型,型与非,关,关系型,数,数据的,处,处理技,术,术边界,已,已经日,渐,渐模糊,，,，后续,应,应用HADOOP技术可,能,能实现,统,统一的,数,数据处,理,理分析,平,平台,目录,我行新一代,数,数据集,成,成平台能力要求,业内大数据技术的,发,发展及,应,应用研,究,究,我行大,数,数据技术的,应,应用策,略,略,15,我行大,数,数据技,术,术应用,规,规划建,议,议,我行大,数,数据技,术,术应用,规,规划建,议,议,技术,应用领域建议,技术,应用领域建议,ORACLE,满足,OLTP,类应用需求,X86 MPP,在某些非关键应用领域作为,TERADATA,的替代技术，降低应用成本,;,复杂的历史数据查询,(,如：多表关联，查询条件可自由组合的查询,),Teradata,核心数据仓库应用,海量、多维度的复杂数据分析,HADOOP,技术,历史数据归档,;,简单历史数据查询,(,查询条件固定的单表查询,),；,半结构化数据分析；,RDW,区,(ORACLE Exadata),SOR,区,（,X86 MPP,）,ADW&CM,区,(TERADATA),LDS,区,(X86 MPP+HADOOP),HDS-,归档区,（,HADOOP,）,HDS-,访问区,（,HADOOP+X86 MPP,）,Staging,区,第三阶,段,段,引入基,于,于X86平台的,商,商用硬,件,件的分,布,布什数,据,据库产,品,品，以,较,较合理,的,的性价,比,比，提,高,高海量,数,数据的,计,计算能,力,力,与时俱,进,进、积,极,极应用,总体规,划,划、分,步,步实施,制定计,划,划、稳,步,步推进,第二阶,段,段,第一阶,段,段,引入遵,行,行HADOOP技术标,准,准的HADOOP技术产品，,实,实现：,海量结,构,构化历,史,史数据,的,的归档,保,保存,信息安,全,全日志,的,的存储,与,与分析,扩展HADOOP技术的,应,应用范,围,围：,电商数,据,据分析,其他场,景,景,我行大,数,数据技,术,术应用,实,实施路,径,径建议,不断丰,富,富大数,据,据技术,上,上的应,用,用功能，形成,我,我行完,善,善的大,数,数据技,术,术应用,体,体系。,17,HADOOP技术选,择,择方案,比,比较,18,详细见,：,：,比较项 方案,方案一：采用免费开源发行版,Cloudera Hadoop,方案二：采用商业开源发行版,(,如,Cloudera、Hortonworks),方案三：采用闭源的,HADOOP,技术产品,(,如,Intel Ha