电信元数据管理课件

陕西省电信有限公司,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,Click to edit Master title,Click to edit Master text,Second level,Third level,Fourth level,Fifth level,*,电信元数据管理,（版本 V0.2）,2008年3月,石竹软件,电信行业,元数据管理,解决方案,元数据基本概念,MetaOne功能介绍,元数据实施简介,目录,元数据建设与维护,规划、设计,业务分析,系统设计、实现,系统运维,管理,元数据,系统规划过程,业务分析过程,背景,系统运维过程、维护流程,系统开发、实现过程,知识保存介质：,文档DOC、EXCEL、语言、程序、逻辑设计图、ER图,知识间建立关系,统一保存便于使用,分散、孤立,管理、集中,元数据对系统的价值,元数据的应该贯穿整个系统的生命周期,规划、业务分析、设计、实现、维护、扩容,元数据协助企业的规划、设计、业务分析“落地”，为IT系统系统开发提供指导；,元数据提供IT实现过程的展示，在过程中消除系统、平台有关性，为规划、设计、业务提供可理解的反馈信息；,元数据促进企业统计口径的一致;,元数据促进企业流程的规范化;,规划、设计,业务分析,系统设计、实现,系统运维,管理,MetaData,10000号,元数据承载平台在系统中的应用,CRM,ODS,数据质量管理,数据质量,规则库,计费,渠道,战略规划,业务模型,项目管理,系统实现,开发流程,需求管理,维护管理,系统扩容,报表,元数据管理系统,专业应用,数据抽取/转换,业务系统数据,源系统1,源系统2,源系统,n,源系统3,.,E T L,传输,抽取,清洗,装载,转换,数据集市,数据集市,综合管理,OLAP分析,Product,Store,Month,报表，adhoc,高层领导信息，kpi,专题分析,简单专题分析,数据挖掘子系统,C,1,C,2,w I,+ 0,1 1 1,2,3,1,2,1,大客户分析子系统,领导信息子系统,专题分析子系统,营销活动设计/管理,(Campaign Mgmt),客户流失管理,(Churn Mgmt),交叉销售设计/管理,(Campaign Mgmt),系统调度,管理及监控,数据集市,数据集市,数据仓库,基础应用,MetaOne,元,数据,管理平台,元数据维护与,指标管理系统,ODS,DW,ODS元数据,应用,业务分析,指标分析,主题分析,程序监控,指标监控,接口监控,知识反馈,变更分析,质量监控,信息地图,指标库,接口文件说明,业务模型,业务规则,生产系统,其他生产系统,元数据承载平台在项目中的应用,战 略,业 务,逻 辑,物 理,元数据承载平台 METAONE,初始阶段,构建阶段,交付阶段,项目立项,项目规划,项目管理,项目统筹,项目移交后使用,需求收集,运营维护阶段,统一规范,分析模型,系统设计,需求控制,主动控制,物理实现,运营维护,元数据概念 元数据是什么,元数据即描述数据的数据,在,ODS,系统中，如果认为,ODS,的报表、指标的内容都是数据，用来描述这些指标定义、业务口径、技术口径、关键字、指标数据来源、,ETL,程序处理过程的信息就是元数据。,dw_stat_defend,mis_run.sh,新增用户数,Cust_msg_ms,潜在大客户,Stat_12.tcl,DB2,TERADATA,元数据,指标类,库表维护,潜在大客户,Cust_msg_ms,新增用户数,数据库管理,程序维护,mis_run.sh,TERADATA,DB2,Stat_12.tcl,stat_defend,元数据概念 元数据分类,面向运维技术人员,数据结构和数据处理细节方面的技术化描述,源系统接口规范,数据仓库结构的描述,数据集市定义描述,分析数据处理过程的 描述等信息,面向业务分析人员,数据和处理规则的 业务化描述,业务规则,业务术语,指标业务口径,信息分类,面向运维管理人员,是对运维管理相关信息的描述,管理流程,人员职责,工作内容分配描述,业务,元数据,技术,元数据,管理,元数据,元数据价值,对整个企业,协助企业管理数据资产管理；,形成统一信息地图，知识传承的平台，有助解决数据孤岛,集中浏览分布在企业内部的所有电子文档，形成虚拟文档库,建设企业范围的指标库，统一指标定义和管理,对管理人员,明确人员在系统维护中的职责，责任到人,明确新需求所涉及到的人员和功能，帮助任务安排,通过元数据发布流程管理，保证数据标准的权威性和可控性,元数据价值,对业务人员,提供业务数据，如指标、报表定义和统计口径，帮助理解和使用,更好地维护业务数据之间的关系一致性,增加对数据的信任度：通过血统分析、,ETL,映射分析,对技术人员,帮助系统建设,1,）提供跨平台跨工具软件的数据模型,2,）快速部署数据集,3,）可协助系统移植或扩容,帮助系统维护,1,）降低维护成本：通过影响分析，掌握各程序、数据之间的关系和相互影响，更好地明确系统变更所涉及的范围，避免遗漏；,2,）帮助数据库管理：通过表重要程度分析，掌握使用率集中或及相对沉寂的库表，帮助库表的重点监控、数据迁移及清理,处理特性的根本不同,大量的历史数据,跨部门数据集成和使用,业务人员直接使用数据,元数据在电信ODS/DW系统的重要性,提高数据质量,电信行业元数据系统建设目标,总目标：,实现企业级数据资产的统一视图，支持有效的数据资源管理,建设数据质量管理体系中符合,CWM,标准的元数据管理平台，为全网,ODS/DW,数据质量管理体系的建设、扩充和数据交换打下基础，为数据质量管理提供支撑,完善企业,ODS/DW,系统基础设施，为数据仓库开发和管理奠定基础,具体目标：,保证数据描述的准确性、一致性，端到端管理,提供业务处理的统一解释，提高数据可信性,支持数据校验、清理，提高数据质量,展示数据和处理的相关性，,提高系统运行可靠性,目录,电信行业,元数据管理,解决方案,元数据基本概念,产品简介,元数据实施简介,元数据建设与维护,MetaOne元数据产品定位 企业级元数据管理,专业应用,数据抽取/转换,业务系统数据,源系统1,源系统2,源系统,n,源系统3,.,E T L,传输,抽取,清洗,装载,转换,数据集市,数据集市,综合管理,OLAP分析,Product,Store,Month,报表，adhoc,高层领导信息，kpi,专题分析,简单专题分析,数据挖掘子系统,C,1,C,2,w I,+ 0,1 1 1,2,3,1,2,1,大客户分析子系统,领导信息子系统,专题分析子系统,营销活动设计/管理,(Campaign Mgmt),客户流失管理,(Churn Mgmt),交叉销售设计/管理,(Campaign Mgmt),系统调度,管理及监控,数据集市,数据集市,数据仓库,基础应用,MetaOne,元,数据,管理平台,元数据维护与,指标管理系统,元数据的承载平台,为其他需要元数据信息,的产品、应用提供支撑和服务。,MetaOne,环境描述,产品关键特性,（一）,第三方产品,完全独立、第三方产品，定位于企业级元数据管理,全中文支持,目前国内支持全中文内核、唯一成熟的元数据管理产品,同时适用于各种用户,元模型可完全扩展,支持,CWM,规范，可完全扩展，适应企业中长期发展需要,端到端的元数据管理,提供企业级元数据统一视图，,提供了清晰定义和分析跟踪业务运作历史数据的实际可行的解决方案,产品关键特性,（二）,主流开放性,100%JAVA,、,J2EE,模式构建、基于,Web,瘦客户端架构；,元数据存储于主流关系型数据库；,能识别和产生符合,CWM,国际规范的,XML,文件；,提供开放的调用接口，易于扩展和应用集成,强大的,分析功能,图形化分析、多种分析功能，如血统分析可快速追溯数据来源和加工过程；影响分析可掌握元数据之间的相互影响,元数据自动获取,支持主流,BI,工具软件如,DB2,、,Oracle,、,Teradata,、,DB2 OLAP,、,Essbase OLAP,、,PowerCenter,、,Erwin,等，并持续推出更多工具软件接口,系统整合,系统可独立运行，并可与其他系统如经分系统无缝整合及双向交互,产品优势,在国内拥有,最多元数据实施的成功案例,，如上海电信、安徽电信、吉林移动、广东移动、中国银行等,可,快速部署,元数据管理系统，并支持元数据范围的不断扩展,提供预定义元模型,目前国内,唯一,支持全中文内核,的元数据产品，同时适用于管理人员、技术人员、业务人员,是完全独立的,第三方元数据产品,，不依附于任何工具软件，开放、通用、支持主流,BI,工具软件,开放式,元数据存储库，采用主流关系型数据库，以面向对象的方式构建存储模式、易于管理和扩展,提供完善的元数据,发布流程管理,，把元数据变更纳入流程监控，使之更具权威性和可控性,提供完善的元数据,版本管理,，便于追踪元数据变更,产品,逻辑结构,处理层,存储层,获取层,展现层,元数据自动获取：,DB2、Oracle、Teradata、Powercenter、,DB2 OLAP、ESSBASE OLAP、Erwin,元数据批量导入：XLS格式、XMI格式,元数据手工维护：界面操作,应用处理层：系统应用逻辑控制,提供元数据的永久存储、元模型控制等功能，支持以主流关系型数据库作为存储库，以面向对象的方式构建存储模式、易于管理和扩展,元数据展现：以Web方式展现元数据，能够让用户随时随地的访问元数据；图形方式的展现能以更易于理解的形式表现元数据的内容和依赖关系,产品物理架构,元数据管理标准_CWM体系结构,UML描述各种元数据模型,MOF(Meta Object Facility)提供操纵元数据的接口,XMI(XML Metadata Interchange)提供元数据交换的机制,产品,遵循的元数据与元模型规范,遵循标准化、国际化的,CWM,模型：,Common Warehouse Metamodel,元模型可完全扩展、主流开放性（,100%JAVA),Carnation MetaOne,成功案例,已成功实施上海电信、安徽电信、吉林移动、四川移动、浙江移动、广东移动、中国银行等元数据管理系统,近期多个移动公司将基于Carnation MetaOne实施元数据管理,Carnation MetaOne,是目前唯一可快速部署、全中文的成熟的元数据管理产品，满足企业业务要求，适应企业中长期发展需要,产品主界面,基于,Web,的浏览器方式，操作界面简洁美观、便于操作,界面可更换皮肤，便于适应用户的各种需要,主要应用及分析功能,主要应用,元数据全文检索,业务流程管理的应用,需求变更影响评估,维表变更评估,企业指标库,API接口,元数据分析,图形,血统分析,表重要程度和无关程度分析,图形,映射分析,差异分析,元数据全文检索,点击可以查看该指标的元数据具体信息,帮助用户在企业级海量信息库中快速检索并准确定位信息项,帮助用户解决“有哪些信息”、“这些信息在哪里”的问题,业务流程管理的应用,图形化维护需求业务流程元数据的相互关系；,需求变更影响评估,需求变更影响评估应用主要利用元数据支撑功能，对经营分析维护开发过程提供需求变更评估方面的IT化支撑，减少对人的依赖，在提高需求变更评估效率的基础上，使需求变更的影响评估更全面可靠。,需求变更影响评估应用应满足以下要求 :关联实体影响评估 、受影响实体关联处理过程评估 、维表变更影响评估 、灵活展现 、影响评估报告,需求变更影响评估,画面演示,关联实体影响评估,受影响实体关联处理过程评估,维表变更影响评估,维表变更评估,维表变更影响评估,企业指标库 指标搜索,检索并定位指标，可找出名称相似的指标做进一步分析,点击可以查看该指标的元数据具体信息,元数据应用包,指标库管理,通过指标库管理，管理ODS/DW系统乃至整个企业的指标库信息，统一企业的指标定义和作用；并可根据需要扩充指标元模型，对指标库进行相应维护,可浏览指标的基本信息，清楚了解每个指标的业务口径，技术口径等基本属性、可对指标进行血统分析、影响分析,可以业务人员能理解的格式，批量导入指标元数据；可批量导出指标，便于指标信息在企业范围内的分发,可链接到ODS/DW系统查看指标报表数据,API接口,提供强大的API接口,用户可以基于元数据开发各种应用,灵活强大的API为用户自定义应用提供基础,其方向可能包括但不仅限于：,数据质量、流程管理、元数据分析；,元数据获取、元数据使用；,元数据图形分析,MetaOne,MetaOne API,数据质量应用,流程管理应用,元数据分析应用,元数据管理应用,其他系统对,元数据的使用,元数据应用包,系统整合,可方便地与其他系统整合，如,ODS/DW,系统，实现双向交互,在不改变,ODS/DW,系统用户操作习惯的情况下，使用户很方便地获得元数据的服务，如搜索报表、指标，查看定义，了解统计口径及数据来源、加工过程、相互影响，帮助理解,ODS/DW,系统所提供的数据，促进经分系统的推广使用,点击可以查看该指标的元数据具体信息,元数据分析,多种元数据分析功能，有效帮助用户了解企业的统一数据视图、解决“数据从哪里来”、“怎么来”、“相互之间有什么影响”、“它们有何不同”等等问题,如血统分析、影响分析、映射分析、拓扑图分析、表外键关系分析、ER图形展现、表重要程度分析、表无关程度分析、元数据差异分析等,血统分析,影响分析,映射分析,元数据分析,图形,血统分析,血统分析：查看数据从哪里来，即数据的加工过程，了解数据的来龙去脉，如某个指标是否来自详单数据,增加用户对数据的信任度，更好地使用数据，如KPI指标,元数据分析,图形,影响分析,影响分析：预览元数据对全局的影响，有助于执行变更前充分评估，及与相关人员事前沟通,如接口文件、库表、Tcl程序、报表、指标等对其他数据或程序的影响,元数据分析,图形,映射分析,映射分析：查看ETL程序内部的映射关系，了解数据加工过程的细节,帮助技术人员了解数据处理过程涉及到哪些对象、数据转换是否正确,帮助业务人员了解数据如何来的细节，进一步增强对经ETL处理而来的指标、报表数据的信任度,元数据分析,表重要程度和无关程度分析,表重要程度分析,：按数据库表被使用的情况分析其重要程度，如果一个表在越多地方被使用到，则可以认为它越重要，为数据库管理提供参考,表无关程度分析与表重要程度分析对应，被使用的越少的表，其无关程度（独立性）越高，为数据库管理提供参考,元数据分析,差异分析,可比较任意两组元数据之间的属性值差异，如分析两个库的库表差异、两个部门的指标差异等,提供对元数据按名称自动匹配的功能，并可人工调整,显示详细的差异分析结果，并可根据实际情况人工调整,差异分析结果可导出为XLS格式的差异分析报告，便于分析和报告,元数据应用包,人员管理及任务分析,整理整个企业的IT系统维护组如经分项目组的各人员信息，方便理清组内的各人员负责的内容，便于工作协调和交接。,元数据应用包,主机拓扑信息维护及分析,管理整个企业IT环境的各服务器的相关信息，方便系统维护和管理,元数据应用包,ETL日志查询与分析,分析,ODS/DW库,表的抽取、装载情况，帮助快速定位处理异常的库表,配合库表的影响分析，为指标和报表数据的可信度提供依据，协助提高数据质量,电信行业,元数据管理,解决方案,元数据基本概念,MetaOne功能介绍,元数据实施简介,目录,元数据管理与维护,元数据管理与维护,元数据的管理与维护是元数据系统建设成败的关键,元数据的应该贯穿整个系统的生命周期,设计、开发、测试、维护、扩容,元数据促进系统建设的规范化、流程化、制度化建设,规划、设计,业务分析,系统设计、实现,系统运维,管理,MetaData,维护与管理,MO的元数据维护机制,技术元数据的维护,业务元数据的维护,管理元数据的维护,元模型的管理,元数据导入/导出,MO系统管理,版本管理,用户权限,MO的元数据维护机制,元数据自动获取,支持主流,BI,工具软件如,DB2,、,Oracle,、Teradata、,DB2 OLAP,、,Essbase OLAP,、PowerCenter、,Erwin,等，并持续推出更多工具软件接口,程序元数据,设计流程：ETL-MAPPING,开发流程：元标注,采用MO进行设计；,采用MO-API自行开发接口；,元模型管理,元模型支持,CWM,规范，并可完全扩展，适应企业中长期发展需要,元数据管理,元数据树型结构展现，反映元数据内部的体系架构,权限控制可具体到单个元数据，便于有控制地进行信息共享,元数据维护,图形化关系维护,梳理分散于企业各系统、各部门、各数据层面、各工具软件元数据之间的关系，形成企业级完整的数据流图,图形化拖拉方式维护元数据之间的关系，操作方便直观，易于维护和浏览,ETL Mapping映射文档解析,ETL Mapping映射文档解析,元标注文档解析,表对象级转换过程维护,元数据维护,图形化ETL程序映射关系维护,表对象级转换过程维护,ETL,是经营分析系统的核心命脉，直接关系着数据质量的好坏,图形化维护,ETL,程序内部映射关系，梳理,ETL,过程中表级或字段级的数据处理过程,字段级转换过程维护,自开发接口,通过MO的API及XML文件,自行开发元数据获取接口,系统更灵活更适应用户情况,表对象级转换过程维护,MetaOne,API,自定义接口,元数据库,XML,文件,元数据维护,元数据整理模板导出,产生便于业务人员、技术人员使用的元数据整理模板，供整理非结构化的业务,/,技术元数据,元数据维护,元数据批量导入,向导式批量导入,XLS,格式、,XMI,格式的元数据，极大地减少人工在界面的维护工作量,元数据维护,元数据,批量导出,将元数据批量导出为XLS或XMI文件，便于及时分发给普通用户,如随时更新经营分析系统指标口径说明书，统一指标理解和使用,元数据版本管理,记录元数据的每次变更，便于追踪及回溯,可方便地查询元数据版本变更历史，查看每次变化的具体内容,版本恢复,元数据版本恢复,可恢复到指定版本，便于差错回退,支持录入变更原因（版本日志）、指定新版本状态和版本号,完善的用户权限管理,基于角色的权限管理机制，可控制用户使用的功能和可操作的元数据,提供部门或组模式的用户管理机制，可与企业组织架构保持一致,支持系统管理员及普通用户,目录,电信行业,元数据管理,解决方案,元数据基本概念,元数据功能介绍,元数据实施简介,元数据管理与维护,元数据项目实施策略,基于元数据产品，搭建企业级元数据管理平台,在此基础上根据用户本地需求定制开发，建设符合用户实际需要的元数据管理及元数据应用系统,定制开发及元数据梳理分阶段进行、增量迭代,元数据项目实施,初始阶段,构建阶段,交付阶段,需求调研,项目总体计划,元数据管理平台搭建,用户培训,系统交付,用户本地化需求定制,石竹软件有限公司,石竹软件有限公司,谢谢!,