银行历史数据管理方案

甘 肃 银 行 历 史 数 据 及 应 用 管 理方 案 介 绍甘 肃 银 行 2016年 7月 目录1 我行历史数据应用与管理方案与架构23 历史数据平台与ODS功能定位历史数据应用与管理面临的问题与挑战 3 银行对历史数据管理的需求业务需求直观地搜索企业95%的信息经营报表历史查询客户历史账单查 询 Fast, easy search Align business, legal and IT needs IT需求数据查询数据备份数据归档数据仓库系统数据法规需求把更多的电子发现工作留在企业内部审计合规检查监管报送实行保留策略和法律存(Legal Hold)出于法规相关或特权查阅信息 如何优化存储控制成本 怎样保证可靠性和性能 怎样归档管理留存信息，保证无篡改，无丢失，满足未来需求的格式 怎样提高响应时间或者确保良好的响应时间IT部门需要面临的问题如何保证完整的保留信息 怎样有效灵活的统计， 方便快速的查询 防止信息泄露与审查方法来自业务需求的挑战满足银行各部门对信息风险监管的高弹性、健壮性、高性能需求？合规审查保留审计各部门对数据的问题与挑战 5 IT部门对历史数据面临的与挑战 5 趋势挑战信息数据的海量增长 IT 预算的紧缩数据存储的需求大于IT预算不断增长的数据使用需求数据应用频繁信息无处不在内部数据丢失问题日益严重数据要求严格、数据存储时间长严格的数据管理安全的数据完整性和可用性。信息的审计和法规遵从信息难以审计信息统一法规遵从的挑战 目录我行历史数据应用与管理方案与架构3 历史数据平台与ODS功能定位历史数据应用与管理面临的问题与挑战21 分析系统&业务系统区别 历史数据平台&ODS功能定位历史数据平台系统ODS系统系统定位1 用于交易明细查询,非结构化数据存储查询 等2 分流交易系统明细数据查询压力1 业务指标,报表展现2 数据交换面向用户1 柜面（柜员）2 客服中心(客服)3 网上银行(客户)4 手机银行等渠道(客户) 业务管理层(报表平台) 企业管理层(高管驾驶仓) 下游数据消费系统(数据交换平台)响应能力1 高并发,高可用 1 批量,独占资源 保存期限长期存在,3年以上1 接口文件保存13个月2 加工汇总后数据长期保存优点1 保留数据的原样性2 满足了数据的管理要求1 突出数据的统一性2 满足了数据的应用要求 OLTP&ODS数据结构对比 OLTP&OLAP系统对比比较项目OLTP(联机事务处理) OLAP(联机分析处理)ODS DW建设目的业务操作，事务处理事务处理，短时分析决 策 支 持 ， 分 析 功 能服务对象生产层业务管理层企 业 管 理 层存储周期即时短期长 期处理频率实时准实时(T+1) 非 实 时数据容量小小非 常 大功能结构分散相对集中集 中数据类型明细数据明细数据明 细 数 据 ,汇 总 数 据 面向用户操作人员,低层管理人员业务管理人员决 策 人 员 ,高 级 管 理 人 员访 问 方 式实时访问（增，删，改，查）准实时（增，删，改，查）非 实 时 （ 主 要 是 读 操 作 ）数 据 处 理 量 100MB-GB 100GB-TB 100GB-TB数 据 简 单 的 事 务 （处理的数据量小） 复 杂 的 查 询 （数据量大） 复 杂 的 查 询 （数据量大） 11 归档备份归档储存生产系统（OLTP）OLTP&OLAP数 据 处 理 流 程 引出的问题Q1 :数据仓库是否能够替代归档系统既突出数据的统一性，又保持数据的原样性Q2:数据备份是否能满足历史数据的可用性，能否使用自动化归档系统加以改善Q3:数据仓库和归档系统两者虽然都是针对数据进行操作的但只能分别进行部署数据冗余大资源浪费严重。 DW与归档系统相结合的综合方案思考：如果能够将数据的应用与管理进行综合规划那就既满足了数据的应用要求又满足了数据的管理要求对二者进行有机结合,是符合商业银行长远发展要求的。解决思路：1综合仓库和归档系统的优势2 解决仓库单纯横向规划系统而不能将海量数据作为归档数据使用的不足3解决归档系统单纯以数据的生命周期存储为目的不能及时为商业分析提供综合数据的不足。 优势：1分流数据,减轻生产系统的压力2减轻数据仓库大量查询的压力 目录1 我行历史数据应用与管理方案与架构2 历史数据平台与ODS功能定位历史数据应用与管理面临的问题与挑战3 数据归档系统架构图1 报表数据迁移只移植重要业务报表(如四表等)2 老报表平台作为备份库查询,新报表平台门户做统一入口 数据仓库基本架构数据应用 数据管理系统总体架构