金融级分布式数据库服务课件

,8/22/2018,#,8/22/2018,#,金融级分布式数据库服务,金融级分布式数据库服务,1,金融数字化趋势与挑战,挑战1：分布式数据一致性,挑战2：分布式业务连续性,挑战3：分布式数据安全性,挑战,4：,服务可扩展性,金融行业应用实践,金融数字化趋势与挑战,2,金融信息科技“十三五,”,规划指明发展方向,信息科技治理 有效性明显提升,构建信息科技治理机制评 价和持续改进机制,组织,、,制度,、,流程和人力,资源建设机制,科技与业务建立成熟的伙,伴关系,优化数据治理,、,提升数据 服务,、,发挥数据价值,信息科技服务,能力持续提升,构建绿色数据中心,推进运维自动化和智能化,实现基础架构转型升级,建立适应互联网业务场景,的软件开发过程体系,信息科技风险管理,“,三道防线,”,协同水平持续提高,明晰并落实,“,三道防线,”,的 协同机制,构建开发,、,运维,、,安全,、,风险管理一体化运营平台,建立信息科技内部控制成,熟度评价机制,完善外包风险管理体系,夯实业务连续性管理,网络和信息安全,管控能力显著增强,积极落实,国家网络空间,安全战略,实现关键基础设施基本安 全,、,风险可控,健全客户信息保护机制,建立全方位的安全态势感,知和防范应对机制,建立银行间网络安全协同,防护机制,科技成为引领创新的 关键引擎,科技创新纳入总体战略,大力推进,“,互联网,+,”,、,大,数据等国家战略落地,构建银行业互联网金融生,态,建立银行间和跨行业的联,合创新,全,面,推进,金,融业信息化发展提质增,效,，积极,面,对新兴技术带来的机遇与挑,战,，主动开展架构转,型,，建,立,开放、弹性、,高,效、,安,全的新一代银行系统,，深化信息科技治理成效，完善科技研发运维体系，,强化信息安全和风险管理,，以信息科技引领创新发展、转型升级，,提升支持实体经济发展能力,，,促进普惠金融大发展,，为社会和公众提供更加丰富、,安全和便捷的金融服务,。,总体,目标,金融信息科技“十三五”规划指明发展方向信息科技治理 有效性明,3,分布式金融架构的理想世界,风险管控 数据安全,高效运维 自动容错,海量数据 平滑扩展,业务安全 数据容灾,服务弹性 应对冲击,开放金融 服务社会,降低成本 投资复用,业务连续 快速部署,分布式金融架构的理想世界风险管控 数据安全高效运维 自动容错,4,数据服务架构的挑战,互联网金融服务带来高的瞬时数据库并 发负载，往往要达到万次,/,秒的读写请 求，要求数据服务能够线性扩展性能与 容量,多数据中心部署后，数据需要在灾难情 况下不丢数据，保持业务连续服务,数据服务业务连续性,对数据库的高并发,，可扩展性要求,受监管限制，金融行业需求与互联网应 用有差别，数据很多场景要求实时强一 致,数据一致性要求,数据安全性,01,04,02,03,数据服务需要具备安全防护手段，防 止非法访问，篡改,数据服务架构的挑战互联网金融服务带来高的瞬时数据库并 发负载,5,金融分布式架构全景视图,统一运维解决方 案,安全解决方案,容灾和备份解决 方案,微模块数据中心,/,IT,硬件解决方案,PaaS,解决方案,DevOps,解决方案,大数据平台及,分布式数据库解,决方案,Iaa,S解决方案,金融分布式架构全景视图统一运维解决方 案安全解决方案容灾和备,6,面向金融的分布式数据库,-GoldenDB,分布式数据库包括计算节点（前置中间件）、数据节点（DB）、全局事务管理器和管理节点四种组件，其中蓝 色背景的为有状态的组件，需要考虑容灾：,1、计算节点（前置中间件）：提供,SQL,解析、优化、路由、结果汇聚、分布式事务控制等功能；,2、数据节点（DB）：真正存储业务数据的组件，通过分库分表实现数据库能力的水平扩展；,3、全局事务管理器（GTM）：分布式事务管理的重要组件；,4、管理节点（OMM与MDS）：包括元数据管理、参数配置、其他三种组件的监控与管理等。,3,、,全局事务管理器,GTM,1,、,计算节点,（前置中间件,）,DB,Proxy,DB,Proxy,DB-M,DB-S,DB-M,DB-S,DB-M,DB-S,DB-M,DB-S,4,、,管理节点,OMM,MDS,Meta,Data,Server,Proxy,Mana,ger,Cluster,Mana,ger,2,、,数据节点,（数据库集群,）,DB,Proxy,APP1 ODBC/,JDBC,APP2 ODBC/,JDBC,APPN ODBC/,JDBC,应用客户端,分布式数据库,面向金融的分布式数据库-GoldenDB分布式数据库包括计,7,金融数字化趋势与挑战,挑战1,：,分布式数据一致性,挑战2：业务连续性,挑战3：数据安全性,挑战,4：,服务可扩展性,金融行业应用实践,金融数字化趋势与挑战,8,改进的分布式事务一致性,-Sagar,模型,事务管理,器,参与,者,事务管理,器,参与,者,参与,者,事务管理,器,子事,务,处,理,子事,务,提,交,参与,者,自动,补偿,补偿,确认,分配全局事务ID,假设条件：,业务中正常情况只有极小比例事务会失败,参与,者,参与,者,分布式,MVCC+GTM+,乐观提交，完成分布式事务的全生命周期管理,保证各种异常场景下的数据一致性，彻底解决分布式数据库可能的脏读问题,自动构建事务回滚机制，从数据库日志中抓取对应的修改内容，并自动化生成补偿操作,在数据备份,/,恢复过程中，保证各全局事务组的操作统一执行或回滚,改进的分布式事务一致性-Sagar 模型事务管理 器参与者,9,数据拆分,/,重分布过程一致性,hash(product_id)=,3170972965401%1024=,537,0,255,127 128,256,511,383384512,767,895,896,639,640768,1023,分库,1,分库,2,分库,3,分库,4,分库,5,分库,6,分库,7,分库,8,原分库,1,原分库,2,原分库,3,原分库,4,数据拆分/重分布过程一致性hash(product_id),10,方案特点,1、方案成熟，在同城环境下数据复制性能提升明显；,2,、支持,DB,分组管理，降低单点故障的影响，保障同城机房与主机房数据副本的一致性；,3,、支持备机分类，优先在主机房内切换；,强一致多副本复制技术,实现原理,1,、数据高可靠采用,DB,主备多副本，主备数据复制采用,快同步复制技术,（在,MySQL,原生半同步 复制基础上改造），对,DB,进行分组管理，要求每个分组至少有一个备机返回响,应,。,2,、服务高可用采用管理节点监控,DB,状态，管理,DB,的故障切换。,管理节点主备数据 复制,DB1,（主,）,DB2,（备,）,D,B分组,1,主机房同城备机房,管理节点,管理节点,（主,）,（主,）,DB,心跳上报,DB,主备数据,快同,步复制,DB3,（备,）,DB4,（备,）,D,B分组,2,方案特点 1、方案成熟，在同城环境下数据复制性能提升明显；强,11,元数据一致性,MDS,DB,DB,DB,Paxos,MDS,MDS,采用Paxos技术,实现元数据存储,集群多写强一致,read/write,主中心,本地,read/write,同城中心,read/write,DB,MDS,异地中心,元数据一致性MDSDBDBDBPaxosMDSMDS采用Pa,12,数据迁移一致性,GoldenDB,EL,数据处理 模块,DB2,数据副本,数据交换平 台,Kafka,Spark/,Storm,流式数据分析,S,数据抽取 模块,S:Select,数据全量导出 增量数据抽取 条件数据抽取 一致性数据过滤,E:Extract,数据过滤 格式转换 数据合并 数据压缩,T:,Transfer,数据传输 数据重传 数据恢复,L:Load,数据转入,DB-MQ DB-,DB,DB,-,文件,数据迁移一致性GoldenDBELDB2数据交换平 台Kaf,13,数据一致性比对工具,数据比对代理,数据比对代理,manager,DB1,DB2,Zookeeper,提供批量数据比对工具,（,分别批量,checksum,比较,checksum,值,不一致则生成不 一致数据块单行,checksum,表进行逐行比对），,冲突数据根据事先规则进行一致性 修复或生成报告交给人工处理。,因目标库表结构与源端异构，需要按映射关系计算,CheckSum,值,数据一致性比对工具数据比对代理数据比对代理managerDB,14,金融数字化趋势与挑战,挑战,1：,分布式数据一致性,挑战2,：,业务连续性,挑战,3：,数据安全性,挑战,4：,服务可扩展性,金融行业应用实践,金融数字化趋势与挑战,15,容灾多活架构,RPO=0,RTO,1,0,秒,容灾多活架构RPO=0RTO10秒,16,系统容错设计,客户端 异常,网络异常,死链接,慢,SQL,Proxy,节点异 常,Proxy,当机,与,DB,断链,存储空间不足,网络故障,DB,节,点异常,Master,失效,复制失效或降级,存储故障,网络故障,事务状态不一致,管理节 点异常,元数据失效,非法访问,GTM,异常,PM,、,CM,等当机,系统容错设计客户端 异常网络异常Proxy 节点异 常,17,金融数字化趋势与挑战,挑战,1：,分布式数据一致性,挑战,2：,业务连续性,挑战3,：,数据安全性,挑战,4：,服务可扩展性,金融行业应用实践,金融数字化趋势与挑战,18,多种数据备份策略,数据库备份,定时备份任务,管理,实时备份,备份记录,备份记录详细,修改定时备份,任务,新增定时备份,任务,多种数据备份策略数据库备份定时备份任务 管理实时备份备份记录,19,安全运维,实时统计,逐级汇总,超期删除,可视化查 询,性能监控,告警管 理,统计 监控,安全运维实时统计逐级汇总超期删除可视化查 询性能监控告警管,20,数据安全控制,数据库集群,1,DB-MDB-M,DB-SDB-S,主从复制,数据加密,集群隔离,国密加密,数据库集群,n,DB-M,DB-S,后置中间件,Data,Manager,计算节点集群,管理服务模块,OMM,Server.,日志,监控,DB,Proxy,APP1,APP2,客户端接入层,资源管理,授权,传输加密S,S,L,白名单控制,管理平台权限控制,链接实例控制,数据访问权限控制,数据备份,异地容灾,同城双活,数据安全控制数据库集群1主从复制集群隔离数据库集群nDB-M,21,合规审计,应用欺诈,提取敏感信息,数据库异常,非正常授权,高频查询,SQL,防火墙,网络白名单,合规审计应用欺诈提取敏感信息数据库异常非正常授权高频查,22,金融数字化趋势与挑战,挑战,1：,分布式数据一致性,挑战2：业务连续性,挑战3：数据安全性,挑战,4,：,服务可扩展性,金融行业应用实践,金融数字化趋势与挑战,23,APP,API,Database,数据库集群,1,DB-M,DB-M,DB-S,DB-S,数据库集群,2,DB-M,DB-S,APP,DRDC,前置中间件集群,DB,Proxy,1,DB,Proxy,2,DB,Proxy,数据库集群,APP,DRDC,架构演进,容量在线扩容,APPAPIDatabase数据库集群1数据库集群2DB-M,24,性能可线性扩展,GoldenDB,理论上支持无限大的线性扩展。在,TPCC,模型,下,，使用普 通,X86,服务器：,1个安全组的组网下能达到,1,7万；,5个安全组的组网下能达到,8,2万；,1,0个安全组的组网下能达,到16,0万；,性能近似线性，衰减少于,7%,。,93%,正比例扩展能达到,93%,以上的性能,17.1,33.3,49.9,65.7,82.4,98.2,114,130,145.6,160.9,1GROUP,2GROUP,3GROUP,4GROUP,5GROUP,6GROUP,7GROUP,8GROUP,9GROUP,10GROUP,TPCC,模型,/,万,TPMC,性能可线性扩展GoldenDB理论上支持无限大的线性扩展。在,25,多种读写隔离级别提升性能,读语句级别,CR(consistency,read),：,强一致性读,，,先查询活跃GTID,，,后查询数据,，,严格保证返回 结果处于分布式事务已提交状态,，,不存在脏读的可能性,；,SEMI-CR(semi-,consistency,read),：,半强一致性读,，,同时查询活跃GTID和数据,，,仅 判断GTM中的活跃事务,，,在高并发读写时存在极小概率的脏读,，,但效率较CR高,；,写语句级别,SW(single,write),：,单事务写,，,即不判断分布式写写冲突,，,适用于不存在多个事务同 时写相同数据的场景,；,CW(consistency,write),：,强一致性写,，,需要判断分布式写写冲突,，,允许多个事务同 时写相同的数据,；,UR(uncommitted,read),：,未提交读,，,即不判断分布式读写冲突,，,适用于允许脏读或 者不存在读写冲突的业务场景,；,多种读写隔离级别提升性能读语句级别CR(consistenc,26,灵活数据分片,Create table bank.info(Customer_Number int key,Corporate_Property varchar(30),Private_type int,Corporate_Information varchar(30)distributed by case Corporate_Property,when,中信银行伦,敦,then,g9,when,中信银行纽,约,then,g10 else,case Private_type,when,对私,then,subdistributed by,hash(Customer_Number)(g1,g2,g3,g4,g5),else,case Corporate_Information,when,五矿集团,or,光大集团,then,g6 else,subdistributed by hash(Customer_Number)(g7,g8),end,end,end,支持按特定规则多重分片，满足复杂业务需求,灵活数据分片Create table bank.info(,27,金融数字化趋势与挑战,挑战1：分布式数据一致性,挑战2：业务连续性,挑战3：数据安全性,挑战,4：,服务可扩展性,实践案例,金融数字化趋势与挑战,28,中信银行,2014,年,启动分布式 数据库研发,分布式数据,库1.,0问世,中信银行门户网站系统上线,零售客户综合积分系统上线,2015,年7月,2015,年9月,2016,年5月,金融同业平台成功上线,2016,年11月,2017,年6月,2017,年4月,冠字号系统合作平台上线,x86,PC,服务器替代小型机,本地磁盘替代高端存储阵列,降低开发成本,无采购成本,无维保成本,提升移动 金融产品,竞争力,无需考虑分布式事务,无需考虑读写分离,无需考虑分库分表,降低硬件成本,降低软件成本,节省,200,万,节省,60%,分布式数据 库方案,商业数据 库方案,商业许可,硬件,总行核心下移验证,中信银行2014年启动分布式 数据库研发分布式数据库1.0问,29,江苏银行事后监督系统案例,江苏银行事后监督系统采用,GoldenDB,替换现在使用的,Oracle,数据库，提升系统处理性能。,1.2017,年,4,月上线。,2.,性能情况：典型存储过成执行速度提升,3,倍,（Oracle,VS,3,节点,GoldenDB,集群）。,3.2,Proxy,/3,Group/,10,虚拟机,（2P16C/64G/,SATA/,万兆网卡）,项目情况简介,1,.业务介绍：由影像处理、业务监督、辅助功能三部 分组成。,2.,改造工作：现有系统使用,Oracle,数据，已运行,7,年，涉及,403,张表及,200,多个存储过程。,3.,性能容量要求：现有数据量,2T，,目标规划,10T,的数 据容量。采用,3,节点安全组，每晚导入,9G,的数据进行 跑批处理。,4.,关键功能,：GoldenDB,的存储过程能力。,系统特点介绍,江苏银行事后监督系统案例江苏银行事后监督系统采用Golden,30,某银行项目综述,1.,背景：行方期望通过综合积分系统进行分布式架构 试水，成功后推广到其他业务。,2.,业务介绍：共,6,个业务子模块，原系统部署在,16,个,Oracle,RAC,集群上，,目标是实,现GoldenDB,与,Oracle,同时混合部,署,。,3.,容量：共,7000,万用户,，GoldenDB,对接测试使用,3,个,DBGroup,集群,4.,关注功能点,：Oracle,兼容性、数据安全性及数据一 致性,综合积分业务对接,1.,项目介绍：综合项目，涉及分布式数据库、大数据及,Pass,平台,等,。,2.,里程碑,：17,年,5,月底完成分布式平台开发与验证工 作。,分布式平台应用改造,1.GoldenDB,目前在某行开展的工作包括综合积分业务对接和行方分布式平台应用改造二个项,目,。,2.,已经完成基准测试、,TPCC,性能测试、手机银行业务对接测试。,某银行项目综述1.背景：行方期望通过综合积分系统进行分布式,31,