银行历史数据管理方案课件

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,甘肃银行历史数据及应用管理,2016,年,7,月,1,目录,1,我行历史数据应用与管理方案与架构,2,3,历史数据平台与,ODS,功能定位,历史数据应用与管理面临的问题与挑战,2,银行对历史数据管理的需求,业务需求,直观地搜索企业,95%,的信息,经营报表,历史查询,客户历史账单查询,Fast, easy search,Align business, legal and IT needs,IT,需求,数据查询,数据备份,数据归档,数据仓库系统,数据,法规需求,把更多的电子发现工作留在企业内部,审计,合规检查,监管报送,实行,保留策略和,法律存,(Legal Hold),出于法规相关或特权查阅信息,3,如何,优化存储控制成本,怎样保证可靠性和性能,怎样归档管理留存信息，保证无篡改，无丢失，满足未来需求的,格式,怎样提高响应时间或者确保良好的响应时间,IT,部门需要面临的问题,如何,保证完整的,保留信息,怎样有效灵活,的统计,，,方便快速的查询,防止信息泄露与审查,方法,来自业务需求的挑战,满足银行各部门对信息风险监管的高弹性、健壮性、高性能需求？,合规,审查,保留审计,各部门对数据的问题与挑战,提高响应时间或者确保良好的响应时间,4,IT,部门对历史数据面临的与挑战,5,趋势,挑战,信息数据的海量增长,IT 预算的紧缩,数据存储的需求大于IT预算,不断增长的数据使用需求,数据应用频繁,信息无处不在,内部数据丢失问题日益严重,数据要求严格、,数据存储时间长,严格的数据管理,安全的数据完整性和可用性。,信息的审计和法规遵从,信息难以审计,信息统一法规遵从的挑战,5,目录,我行历史数据应用与管理方案与架构,3,历史数据平台与,ODS,功能定位,历史数据应用与管理面临的问题与挑战,2,1,6,分析系统,&,业务系统区别,7,历史数据平台,&ODS,功能定位,历史数据平台系统,ODS系统,系统定位,1 用于交易明细查询,非结构化数据存储查询 等,2 分流交易系统明细数据查询压力,1 业务指标,报表展现,2 数据交换,面向用户,1,柜面（柜员）,2,客服中心,(,客服,),3,网上银行,(,客户,),4,手机银行等渠道,(,客户,),业务管理层,(,报表平台,),企业管理层,(,高管驾驶仓,),下游数据消费系统,(,数据交换平台,),响应能力,1 高并发,高可用,1 批量,独占资源,保存期限,长期存在,3年以上,1 接口文件保存13个月,2 加工汇总后数据长期保存,优点,1,保留数据的原样性,2,满足了数据的管理要求,1,突出数据的统一性,2,满足了数据的应用要求,8,OLTP&ODS,数据结构对比,9,OLTP&OLAP,系统对比,比较项目,OLTP,(,联机事务处理,),OLAP(,联机分析处理,),ODS,DW,建设目的,业务操作，事务处理,事务处理，短时分析,决策支持，分析功能,服务对象,生产层,业务管理层,企业管理层,存储周期,即时,短期,长期,处理频率,实时,准实时,(T+1),非实时,数据容量,小,小,非常大,功能结构,分散,相对集中,集中,数据类型,明细数据,明细数据,明细数据,汇总数据,面向用户,操作人员,低层管理人员,业务管理人员,决策人员,高级管理人员,访问方式,实时访问（增，删，改，查）,准实时（增，删，改，查）,非实时（主要是读操作）,数据处理量,100MB-GB,100GB-TB,100GB-TB,数据,简单的事务（,处理的数据量小,）,复杂的查询（,数据量大,）,复杂的查询（,数据量大,）,10,归档,备份,归档储存,生产系统,（,OLTP,）,OLTP&OLAP,数据处理流程,11,引出的问题,Q1 :,数据仓库是否能够替代归档系统既突出数据的统一性，又保持数据的原样性,Q2:,数据备份是否能满足历史数据的可用性，能否使用自动化归档系统加以改善,Q3:,数据仓库和归档系统两者虽然都是针对数据进行操作的但只能分别进行部署数据冗余大资源浪费严重。,12,DW,与归档系统相结合的综合方案,思考：,如果能够将数据的应用与管理进行综合规划那就既满足了数据的应用要求又满足了数据的管理要求对二者进行有机结合,是符合商业银行长远发展要求的。,解决思路：,1,综合仓库和归档系统的优势,2,解决仓库单纯横向规划系统而不能将海量数据作为归档数据使用的不足,3,解决归档系统单纯以数据的生命周期存储为目的不能及时为商业分析提供综合数据的不足。,优势：,1,分流数据,减轻生产系统的压力,2,减轻数据仓库大量查询的压力,13,目录,1,我行历史数据应用与管理方案与架构,2,历史数据平台与,ODS,功能定位,历史数据应用与管理面临的问题与挑战,1,3,14,数据归档系统架构图,1,报表数据迁移只移植重要业务报表,(,如四表等,),2,老报表平台作为备份库查询,新报表平台门户做统一入口,15,数据仓库基本架构,数据应用,16,数据管理系统总体架构,17,谢谢！,18,