数据治理平台系统介绍课件

国家开发银行数据治理平台系统简介2008年11月数据治理项目组 国家开发银行国家开发银行数据治理平台系统简介数据治理平台系统简介20082008年年1111月数据治理月数据治理数据治理平台项目组1.系统目标与定位2.技术实现架构3.数据标准管理子系统4.元数据管理子系统5.数据质量管理子系统6.数据服务子系统7.统一认证与用户管理模块议题2系统目标与定位议题系统目标与定位议题2 2数据治理平台项目组建设背景n数据平台一期已构建完成并投入使用，所面临的问题：数据平台一期已构建完成并投入使用，所面临的问题：数据标准缺乏结构化管理源数据变化造成数据平台数据混乱对数据平台数据问题如何快速定位原因？如何有效监控和改善数据平台数据质量？。n建设一个完整的数据治理平台，作为数据平台的管控系统，从制度、标准、监建设一个完整的数据治理平台，作为数据平台的管控系统，从制度、标准、监控、流程几个方面提升开行的数据信息管理能力，解决目前所面临的数据标准控、流程几个方面提升开行的数据信息管理能力，解决目前所面临的数据标准问题、数据质量问题、元数据管理问题和数据服务问题。问题、数据质量问题、元数据管理问题和数据服务问题。3建设背景数据平台一期已构建完成并投入使用，所面临的问题：建设背景数据平台一期已构建完成并投入使用，所面临的问题：3 3数据治理平台项目组项目目标 围绕国开行数据平台建设，提供针对数据生命周期的管控机制，体现为以下几个出发点：n 数据标准规范化数据标准规范化-规范化管理构成数据平台的业务和技术基础设施，包括数据管控制度与流程规范文档、信息项定义等。n 数据关系脉络化数据关系脉络化-实现对数据间流转、依赖关系的影响和血缘分析。n 数据质量度量化数据质量度量化全方位管理数据平台的数据质量，实现可定义的数据质量检核和维度分析，以及问题跟踪。n 数据服务电子化数据服务电子化-为数据平台提供面向业务用户的服务沟通渠道。4项目目标项目目标 围绕国开行数据平台建设，提供针对数据生命周期围绕国开行数据平台建设，提供针对数据生命周期数据治理平台项目组数据治理平台构成与定位ODSSchemas数据集市数据流数据平台数据平台管理行内数据标准管理平台元数据，进行数据影响、血缘分析管理平台数据质量提供平台沟通渠道核心业务系统信贷业务系统信用风险管理系统系统管理会计风险数据标准数据标准元数据管理元数据管理数据质量数据质量管理管理数据服务数据服务分析类应用系统数据抽取数据抽取数据提供数据提供5数据治理平台构成与定位数据治理平台构成与定位ODSSchemasODSSchemas数据集市数据流数据数据集市数据流数据数据治理平台项目组对数据平台业务的支持数据标准数据标准子系数据标准子系统统数据服务数据服务业务部门应用开发者数据标准管理员 查询数据标准，以开发符合数据标准的应用 提交标准代码比对文档 维护数据标准 制订、发布标准 应用系统代码标准比对 查询数据标准规范，反馈建议 提出数据标准需求申请6对数据平台业务的支持对数据平台业务的支持数据标准数据标准子系统数据服务业务部门数据标准数据标准子系统数据服务业务部门数据治理平台项目组对数据平台业务的支持元数据数据服务数据服务元数据子系统元数据子系统元数据管理员数据平台数据源系统数据抽取 查询数据平台相关元数据，为开发应用提供参考 数据变更影响评估申请 数据变更影响分析 数据问题血缘分析应用开发者7对数据平台业务的支持对数据平台业务的支持元数据数据服务元数据子系统元数据管理员元数据数据服务元数据子系统元数据管理员数据治理平台项目组对数据平台业务的支持数据质量数据质量数据质量检核检核业务部门应用开发者数据质量管理员 定义检核需求与规则 分析数据平台数据质量 发现、发布数据检核问题 了解本机构特定系统数据质量 提出业务数据质量检核需求 针对数据质量问题提出完善建议8对数据平台业务的支持对数据平台业务的支持数据质量数据质量检核业务部门应用开发者数据质量数据质量检核业务部门应用开发者数据治理平台项目组对数据平台业务的支持-数据服务数据服务数据服务业务部门应用开发者数据服务单管理员数据平台服务申请 数据平台服务申请 与数据平台有效沟通 提供数据平台服务9对数据平台业务的支持对数据平台业务的支持-数据服务数据服务业务部门应用开发者数据数据服务数据服务业务部门应用开发者数据数据治理平台项目组数据治理相关系统关系AD(目录)系统统一用户管理系统数据平台数据服务子数据服务子系统系统数据质量管理数据质量管理子系统子系统元数据子元数据子系统系统数据标准数据标准子系统子系统提供标准相关元数据提供库表结构元数据执行检核提供检核系统元数据统一认证统一认证与用户管与用户管理模块理模块登录认证用户与机构信息同步单点登录与角色管理数据治理平台数据治理平台10数据治理相关系统关系数据治理相关系统关系AD(AD(目录目录)系统统一用户管理系统数据平台系统统一用户管理系统数据平台数据治理平台项目组1.系统目标与定位2.技术实现架构3.数据标准管理子系统4.元数据管理子系统5.数据质量管理子系统6.数据服务子系统7.统一认证与用户管理模块议题11系统目标与定位议题系统目标与定位议题1111数据治理平台项目组121212数据治理平台项目组1.系统目标与定位2.技术实现架构3.数据标准管理子系统4.元数据管理子系统5.数据质量管理子系统6.数据服务子系统7.统一认证与用户管理模块议题13系统目标与定位议题系统目标与定位议题1313数据治理平台项目组功能需求功能定功能定义数据数据标准文档管理准文档管理数据数据标准文档制准文档制订维护数据标准相关文档类信息数据数据标准文档准文档发布布对数据标准相关文档进行发布管理数据数据标准文档版本管理准文档版本管理对数据标准相关文档的历史版本信息提供查看功能。数据数据标准信息准信息项管理管理标准代准代码定定义维护数据标准公共代码。主数据定主数据定义维护主数据标准数据数据标准准查询与反与反馈数据数据标准文档准文档查询与反与反馈数据数据标准信息准信息项查询应用代用代码标准符合性准符合性检查新应用开发者将本应用代码与标准代码进行匹配，提交系统检查管理全行数据相关的标准和规范，提供数据标准的查询与反馈等功能。管理全行数据相关的标准和规范，提供数据标准的查询与反馈等功能。14功能需求功能定义数据标准文档管理数据标准文档制订维护数据标准功能需求功能定义数据标准文档管理数据标准文档制订维护数据标准数据治理平台项目组应用界面15应用界面应用界面1515数据治理平台项目组应用界面数据标准文档管理数据标准文档管理 数据标准制订 数据标准导入 数据标准文档 版本管理16应用界面数据标准文档管理应用界面数据标准文档管理 数据标准制订数据标准制订 数据标准导入数据标准导入 数据标数据标数据治理平台项目组应用界面数据标准信息项管理数据标准信息项管理公共代码管理 数据标准管理17应用界面数据标准信息项管理公共代码管理应用界面数据标准信息项管理公共代码管理 数据标准管理数据标准管理1717数据治理平台项目组应用界面 数据标准反馈意见数据标准反馈意见 查看反馈意见 反馈意见18应用界面应用界面 数据标准反馈意见数据标准反馈意见 查看反馈意见查看反馈意见 反馈意见反馈意见1818数据治理平台项目组逻辑架构19逻辑架构逻辑架构1919数据治理平台项目组1.系统目标与定位2.技术实现架构3.数据标准管理子系统4.元数据管理子系统5.数据质量管理子系统6.数据服务子系统7.统一认证与用户管理模块议题20系统目标与定位议题系统目标与定位议题2020数据治理平台项目组功能需求功能定功能定义完成情况完成情况技技术元数据元数据源系源系统数据数据结构定构定义导入源系统数据字典，并以系统-表-字段的层级关系展现各级数据关系。已完成主数据主数据ERER模型模型导入主数据ERwin模型，解析生成模型各层级关系。已完成数据与映射关系定数据与映射关系定义定义数据平台各部分，以及源系统间的数据关联映射关系。已完成数据影响与血数据影响与血缘分析分析依赖所定义的数据平台各部分，以及源系统间的数据映射关系，图形化展现数据变化影响和数据问题溯源。已完成数据数据变化化对比分析比分析针对元数据不同版本进行差异部分识别与比较。已完成业务元数据元数据代代码定定义定义数据平台公共代码及其与源系统代码的关系。已完成报表表表表头定定义定义数据平台业务报表的构成元素与结构。已完成报表指表指标定定义定义数据平台业务报表中指标的计算规则。已完成报表指表指标勾稽关系分析勾稽关系分析定义数据平台业务报表中指标间的依赖关系，并进行影响与血缘分析。已完成对源系统、数据平台以及数据治理项目中的相关的技术、业务元数据进行统一对源系统、数据平台以及数据治理项目中的相关的技术、业务元数据进行统一的归集管理，实现数据间的血缘分析和影响分析。的归集管理，实现数据间的血缘分析和影响分析。21功能需求功能定义完成情况技术元数据源系统数据结构定义导入源系功能需求功能定义完成情况技术元数据源系统数据结构定义导入源系数据治理平台项目组功能定功能定义完成情况完成情况系系统管理管理元数据手元数据手动采集采集 手工上传元数据定义文件已完成元数据自元数据自动采集采集提供针对不同目标应用的适配器，实现定时的自动采集已完成，但需数据平台提供采集支持，接口方式尚需确定。版本管理版本管理提供元数据定版、批量定版、版本回溯的功能已完成访问控制管理控制管理提供针对元数据细节操作的访问控制已完成功能需求22功能定义完成情况系统管理元数据手动采集手工上传元数据定义文件功能定义完成情况系统管理元数据手动采集手工上传元数据定义文件数据治理平台项目组应用界面23应用界面应用界面2323数据治理平台项目组 业务元数据业务元数据 报表表头报表清单报表表头定义报表表样导出应用界面24 业务元数据业务元数据 报表表头报表清单报表表头定义报表表样导出应用界报表表头报表清单报表表头定义报表表样导出应用界数据治理平台项目组 业务元数据业务元数据 报表指标查看指标相关ER图应用界面25 业务元数据业务元数据 报表指标查看指标相关报表指标查看指标相关ERER图应用界面图应用界面2525数据治理平台项目组 技术元数据技术元数据 影响分析应用界面26 技术元数据技术元数据 影响分析应用界面影响分析应用界面2626数据治理平台项目组逻辑结构27逻辑结构逻辑结构2727数据治理平台项目组采集适配器n元数据采集适配器是一种驱动和解析器，用来接收、解析各种不用类型数据源的数据，将有效的元数据存入模型，并建立关系。n在本期项目中，元数据管理系统的接口提供以下几种适配器：库表结构适配器、PowerCenter适配器、E/R Win适配器、数据平台血脉分析适配器、指标适配器、代码适配器、表头适配器等。28采集适配器元数据采集适配器是一种驱动和解析器，用来接收、解析采集适配器元数据采集适配器是一种驱动和解析器，用来接收、解析数据治理平台项目组元数据存储结构n元数据存储模型层包括两部分内容：元数据存储模型层包括两部分内容：元模型定义，即通过XML实现对象、对象关系及对象行为等的定义。元数据实例存储，元数据实例存储到关系数据库中。29元数据存储结构元数据存储模型层包括两部分内容：元数据存储结构元数据存储模型层包括两部分内容：2929数据治理平台项目组1.系统目标与定位2.技术实现架构3.数据标准管理子系统4.元数据管理子系统5.数据质量管理子系统6.数据服务子系统7.统一认证与用户管理模块议题30系统目标与定位议题系统目标与定位议题3030数据治理平台项目组系统目标根据根据“数据质量检核管理办法数据质量检核管理办法”中中PDCAPDCA方法论，基于现有数据平台，对其上数方法论，基于现有数据平台，对其上数据进行全质量生命周期的管理，包括质量问题的定义、检核监控、发现分析、据进行全质量生命周期的管理，包括质量问题的定义、检核监控、发现分析、跟踪反馈。跟踪反馈。检核调度检核调度检核对象检核对象收集需求收集需求分析分析规则规则库执行行问题数据数据修正修正检核需求检核需求检核指标检核指标检核调度检核调度管理管理数据质量数据质量检核分析检核分析数据质量数据质量问题管理问题管理数据质量数据质量趋势分析趋势分析数据质量数据质量知识库知识库31系统目标根据系统目标根据“数据质量检核管理办法数据质量检核管理办法”中中PDCAPDCA方法论，基于现方法论，基于现数据治理平台项目组数据质量度量分类大大类细类正确性正确性唯一性检查非空检查类型检查格式检查值域检查代码检查指标标准偏差检查数据集市指标准确性检查完整性完整性外键约束检查一致性一致性业务规则检查及及时性性数据平台数据生成及时性检查32数据质量度量分类大类细类正确性唯一性检查非空检查类型检查格式数据质量度量分类大类细类正确性唯一性检查非空检查类型检查格式数据治理平台项目组功能需求功能定功能定义完成情况完成情况数据数据质量量检核定核定义检核系核系统定定义对纳入数据质量管理需求的系统、数据表纳入检核范围，并定义相关信息已完成检核指核指标与与规则定定义按数据质量度量标准，为各类检核指标定义相关属性和数据检查规则。已完成检核核调度策略定度策略定义为数据质量检核指标类和业务方案定义灵活的检核策略已完成数据数据质量量检核核执行行检核控制引擎核控制引擎调度符合执行策略数据质量检核指标，并分派给对应的处理器已完成检核核执行行处理器理器对数据质量检核指标执行特定于其指标类的检查程序已完成33功能需求功能定义完成情况数据质量检核定义检核系统定义对纳入数功能需求功能定义完成情况数据质量检核定义检核系统定义对纳入数数据治理平台项目组功能需求功能定功能定义完成情况完成情况数据数据质量量检核分析核分析问题分布分析分布分析对数据质量检核的结果按机构、系统、数据质量问题三个维度进行分布分析已完成问题趋势分析分析对数据质量检核的结果按时间维度分析，判断质量改善情况已完成检核指核指标批次批次对比比对同一检核指标的不同批次进行对比，分析质量改善情况已完成检核核执行行报告告对特定日期的检核结果，形成统计报表已完成数据数据质量量问题管理管理问题发现查询符合特定条件的数据质量检核问题已完成问题发布布将需处理的数据质量检核问题归集到一个问题单，并发布给特定的机构已完成问题处理理跟踪问题单的处理情况已完成问题归档档对处理完结的问题单进行归档处理已完成数据数据质量知量知识管理管理知知识库维护归集数据质量的特定问题，以及特定的解决方案，形成知识信息已完成知知识库查询查询数据质量知识信息已完成34功能需求功能定义完成情况数据质量检核分析问题分布分析对数据质功能需求功能定义完成情况数据质量检核分析问题分布分析对数据质数据治理平台项目组 检核系统管理检核系统管理应用界面35 检核系统管理应用界面检核系统管理应用界面3535数据治理平台项目组 检核指标管理检核指标管理 主键唯一应用界面36 检核指标管理检核指标管理 主键唯一应用界面主键唯一应用界面3636数据治理平台项目组 检核调度策略管理检核调度策略管理 业务解决方案应用界面37 检核调度策略管理检核调度策略管理 业务解决方案应用界面业务解决方案应用界面3737数据治理平台项目组 数据质量检核分析数据质量检核分析 问题分布分析 批次对比分析应用界面38 数据质量检核分析数据质量检核分析 问题分布分析问题分布分析 批次对比分析应用界面批次对比分析应用界面3838数据治理平台项目组 数据质量问题管理数据质量问题管理 问题发现应用界面39 数据质量问题管理数据质量问题管理 问题发现应用界面问题发现应用界面3939数据治理平台项目组逻辑结构n三个层面：三个层面：定义层：定义作为系统功能的核心-数据质量检核，所需使用对象、指标、调度策略等配置信息；执行层：使用已定义的检核配置信息，对数据平台数据进行检核；分析层：对检核执行结果进行定量、定性的分析与处理。n前后端：前后端：前端：用户使用基于操作界面的应用程序进行交互式的检核信息定义、检核结果分析等功能；后端：系统根据检核策略在后台自动执行，无需与用户交互。40逻辑结构三个层面：逻辑结构三个层面：4040数据治理平台项目组检核调度与分派41检核调度与分派检核调度与分派4141数据治理平台项目组检核规则处理器类别存存储过程：固定程：固定SQL存存储过程：自定程：自定义SQL固定固定Java程序程序自定自定义Groovy规则脚本脚本固定自定义简单复杂42检核规则处理器类别存储过程：固定检核规则处理器类别存储过程：固定SQL SQL存储过程：自定义存储过程：自定义SQL SQL数据治理平台项目组Groovy脚本示例package groovypackage groovyimport java.sql.Connectionimport java.sql.Connectionimport java.sql.ResultSetimport java.sql.ResultSetimport groovy.sql.Sqlimport groovy.sql.Sqlimport cn.cdb.backend.RuleHandlerimport cn.cdb.backend.RuleHandler/*/*author *author 马春宇马春宇 2008-11-112008-11-11*/public class exampleGroovyRuleHandler extends RuleHandlerpublic class exampleGroovyRuleHandler extends RuleHandler/groovy/groovy数据库执行句柄数据库执行句柄def sql_DQDB,sql_DPDBvoid init(long KPP_BH,Connection CONNS)super.init(KPP_BH,CONNS)sql_DQDB=new Sql(conns0)sql_DPDB=new Sql(conns1)/该方法目标：定义扫描检核目标表的该方法目标：定义扫描检核目标表的SQLSQL语句。语句。/sqlHead=select t0.rowid as DQMS_rowid,t0.ContNo as DQMS_logicalPK,t0.*from ODS_EFF.CDBCT_CONT_INFO t0;private String getSqlScanTarTable(String sqlHead)String sqlScanTarTable;String cusClause;/-自定义部分-开始cusClause=where(t0.TranSourCoun is null or trim(t0.TranSourCoun)=)and t0.data_end_date=99999999;/-自定义部分-结束sqlScanTarTable=sqlHead+cusClause;return sqlScanTarTable;/该方法目标：描述对单记录的检核规则该方法目标：描述对单记录的检核规则,如是问题记录则返回如是问题记录则返回falsefalse，否则返回，否则返回truetrueprivate boolean exeSingleRecCheck(ResultSet rs)boolean succFlag=false;/-自定义部分-开始String CredStatNo;CredStatNo=rs.getString(CredStatNo);def it=sql_DPDB.firstRow(select LoanType from ODS_EFF.CDBPJ_STAT_INFO where CredStatNo=?,CredStatNo)if(it.LoanType in 51,52,53,54)succFlag=true;/-自定义部分-结束return succFlag;43GroovyGroovy脚本示例脚本示例package groovy43package groovy43数据治理平台项目组采用技术n前端前端基于Ext Ajax、Spring、hibernate技术实现：检核配置定义数据质量问题管理知识库管理数据质量对比分析、检核报告系统管理基于Cognos报表系统实现数据质量分布与趋势分析n后端后端基于Java、多线程技术实现检核调度与分派基于数据库Job Schedule、存储过程实现存储过程检核策略基于Groovy脚本技术实现复杂自定义检核规则的执行44采用技术前端采用技术前端4444数据治理平台项目组1.系统目标与定位2.技术实现架构3.数据标准管理子系统4.元数据管理子系统5.数据质量管理子系统6.数据服务子系统7.统一认证与用户管理模块议题45系统目标与定位议题系统目标与定位议题4545数据治理平台项目组数据平台服务单流程流程定义流程定义申申请方（包括方（包括业务部部门或或外包公司）外包公司）数据数据标准准处服服务提供方（数据提供方（数据处或平台或平台实施商）施商）数据服数据服务申申请新建申新建申请 提交申提交申请 数据服数据服务审核核审核申核申请 服服务创建与分配建与分配 数据服数据服务实施施任任务创建建 任任务执行行 任任务签收收 服服务验收收 服服务归档档 周期性服周期性服务新建服新建服务实例例 46数据平台服务单流程流程定义申请方（包括业务部门或外包公司）数数据平台服务单流程流程定义申请方（包括业务部门或外包公司）数数据治理平台项目组功能定功能定义完成情况完成情况数据服数据服务申申请维护申申请服务申请者新增、维护服务申请已完成提交申提交申请服务申请者提交服务申请已完成数据服数据服务审核核审核申核申请数据服务管理员审核服务申请已完成服服务创建与分配建与分配数据服务管理员创建服务实例，并分配给指定的服务提供者已完成数据服数据服务实施施任任务创建建服务提供者为服务分解任务已完成任任务执行行服务提供者填写任务执行情况已完成任任务签收收服务申请者对单个任务，选择签收或拒绝 已完成服服务验收收服务申请者、数据服务管理员验收服务已完成服服务归档档已验收的服务归档已完成事件管理事件管理对服务处理过程中的事件进行管理已完成周期性服周期性服务新建服新建服务实例例对周期性服务，提供特定的处理已完成数据平台数据平台论坛提供通用论坛功能已完成功能需求47功能定义完成情况数据服务申请维护申请服务申请者新增、维护服务功能定义完成情况数据服务申请维护申请服务申请者新增、维护服务数据治理平台项目组 数据服务审核数据服务审核 审核申请功能界面 服务分配48 数据服务审核数据服务审核 审核申请功能界面审核申请功能界面 服务分配服务分配4848数据治理平台项目组功能界面 数据服务实施数据服务实施 任务创建 任务签收 服务验收49功能界面功能界面 数据服务实施数据服务实施 任务创建任务创建 任务签收任务签收 服务验收服务验收4949数据治理平台项目组逻辑结构控制控制层逻辑业务实体关系体关系50逻辑结构控制层逻辑业务实体关系逻辑结构控制层逻辑业务实体关系5050数据治理平台项目组统一认证与用户管理模块功能定功能定义完成情况完成情况单点登点登录与与认证ADAD认证提供平台统一的到AD目录的认证已完成单点登点登录在平台各子系统间提供单点登录功能已完成用用户与机构同步与机构同步全量同步全量同步提供从“统一用户管理系统”的用户和机构数据全量同步已完成增量同步增量同步提供从“统一用户管理系统”的用户和机构数据每日增量同步已完成用用户注册注册提供非行内用户的注册功能已完成用用户管理管理提供非行内用户的用户信息维护功能已完成用用户角色分配角色分配为用户分配系统角色已完成角色定角色定义与授与授权平台系统角色管理与平台级授权已完成实现数据治理平台四个子系统的单点登录，及统一的用户和角色管理。实现数据治理平台四个子系统的单点登录，及统一的用户和角色管理。51统一认证与用户管理模块功能定义完成情况单点登录与认证统一认证与用户管理模块功能定义完成情况单点登录与认证ADAD认证认证数据治理平台项目组1.系统目标与定位2.技术实现架构3.数据标准管理子系统4.元数据管理子系统5.数据质量管理子系统6.数据服务子系统7.统一认证与用户管理模块议题52系统目标与定位议题系统目标与定位议题5252数据治理平台项目组用户访问 访问 用户认证 单点登录 用户信息获取平台子系统 登入 保持用户身份 平台主控界面 访问子系统 验证用户身份 进入子系统53用户访问用户访问 访问访问 用户认证用户认证 单点登录单点登录 用户信息获取平台子系统用户信息获取平台子系统数据治理平台项目组实现逻辑n单点登录单点登录行内用户统一管理行内用户统一管理全量增量54实现逻辑单点登录行内用户统一管理实现逻辑单点登录行内用户统一管理5454数据治理平台项目组谢谢谢！谢！55谢谢谢！谢！5555