电信元数据管理课件

电信行业电信行业电信行业电信行业元数据管理元数据管理元数据管理元数据管理解决方案解决方案解决方案解决方案元数据基本概念元数据基本概念 MetaOneMetaOne功能介绍功能介绍元数据实施简介元数据实施简介目目录录元数据建设与维护元数据建设与维护电信行业元数据基本概念 MetaOne功能介绍元数据实施简介1规划、设计业务分析系统设计、实现系统运维管理元数据元数据系统规划过程业务分析过程背景背景系统运维过程、维护流程系统开发、实现过程知识保存介质：文档DOC、EXCEL、语言、程序、逻辑设计图、ER图知识间建立关系统一保存便于使用分散、孤立管理、集中规划、设计业务分析系统设计、实现系统运维元数据系统规划过程业2元元数数据据对对系系统统的价的价值值u元数据的应该贯穿整个系统的生命周期规划、业务分析、设计、实现、维护、扩容u元数据协助企业的规划、设计、业务分析“落地”，为IT系统系统开发提供指导；u元数据提供IT实现过程的展示，在过程中消除系统、平台有关性，为规划、设计、业务提供可理解的反馈信息；u元数据促进企业统计口径的一致;u元数据促进企业流程的规范化;规划、设计业务分析系统设计、实现系统运维管理MetaData元数据对系统的价值元数据的应该贯穿整个系统的生命周期规划、设3元元数数据承据承载载平台在系平台在系统统中的中的应应用用数据质量管理数据质量规则库战略规划业务模型项目管理系统实现开发流程需求管理维护管理系统扩容报表元数据管理系统专业应用数据抽取/转换业务系统数据源系统1源系统2源系统n源系统3.E T L传输抽取清洗装载转换数据集市数据集市综合管理OLAP分析ProductStoreMonth报表，adhoc高层领导信息，kpi专题分析简单专题分析数据挖掘子系统C1C2 w I +01 1 12 2 3 31 12 21 1大客户分析子系统领导信息子系统专题分析子系统营销活动设计/管理(Campaign Mgmt)客户流失管理(Churn Mgmt)交叉销售设计/管理(Campaign Mgmt)系统调度管理及监控数据集市数据集市数据仓库基础应用MetaOne元数据管理平台元数据维护与指标管理系统ODSDWODS元数据应用应用业务分析指标分析主题分析程序监控指标监控接口监控知识反馈变更分析质量监控信息地图指标库接口文件说明业务模型业务规则生产系统10000号元数据承载平台在系统中的应用CRMODS数据质量4元元数数据承据承载载平台在平台在项项目中的目中的应应用用战战 略略业业 务务逻逻 辑辑物物 理理元数据承载平台元数据承载平台元数据承载平台元数据承载平台 METAONE METAONE METAONE METAONE初始阶段初始阶段构建阶段构建阶段交付阶段交付阶段项目立项项目规划项目管理项目统筹项目移交后使用需求收集运营维护阶段运营维护阶段统一规范分析模型系统设计需求控制主动控制物理实现运营维护元数据承载平台在项目中的应用战 略业 务逻 辑物5carnation元元数数据据概概念念 元元数数据是什据是什么么p元数据即描述数据的数据元数据即描述数据的数据o在ODS系统中，如果认为ODS的报表、指标的内容都是数据，用来描述这些指标定义、业务口径、技术口径、关键字、指标数据来源、ETL程序处理过程的信息就是元数据。dw_stat_defendmis_run.sh新增用户数Cust_msg_ms潜在大客户Stat_12.tclDB2TERADATA元数据元数据指标类指标类库表维护库表维护潜在大客户Cust_msg_ms新增用户数数据库管理数据库管理程序维护程序维护mis_run.shTERADATADB2Stat_12.tcl stat_defendcarnation元数据概念 元数据是什么元数据即描述数据6元数据概念元数据概念 元数据分类元数据分类carnation面向运维技术人员面向运维技术人员数据结构和数据处理数据结构和数据处理细节方面的技术化描述细节方面的技术化描述 源系统接口规范源系统接口规范 数据仓库结构的描述数据仓库结构的描述 数据集市定义描述数据集市定义描述 分析数据处理过程的分析数据处理过程的 描述等信息描述等信息面向业务分析人员面向业务分析人员数据和处理规则的数据和处理规则的 业务化描述业务化描述 业务规则业务规则 业务术语业务术语 指标业务口径指标业务口径 信息分类信息分类面向运维管理人员面向运维管理人员是对运维管理相关是对运维管理相关信息的描述信息的描述 管理流程管理流程 人员职责人员职责 工作内容分配描述工作内容分配描述业务业务业务业务元数据元数据元数据元数据技术技术技术技术元数据元数据元数据元数据管理管理管理管理元数据元数据元数据元数据元数据概念 元数据分类carnation面向运维技术人员面7元数据价值对整个企业对整个企业 n协助企业管理数据资产管理；n形成统一信息地图，知识传承的平台，有助解决数据孤岛n集中浏览分布在企业内部的所有电子文档，形成虚拟文档库n建设企业范围的指标库，统一指标定义和管理对管理人员对管理人员n明确人员在系统维护中的职责，责任到人n明确新需求所涉及到的人员和功能，帮助任务安排n通过元数据发布流程管理，保证数据标准的权威性和可控性元数据价值对整个企业 8元数据价值对业务人员对业务人员n提供业务数据，如指标、报表定义和统计口径，帮助理解和使用n更好地维护业务数据之间的关系一致性n增加对数据的信任度：通过血统分析、ETL映射分析对技术人员对技术人员n帮助系统建设 1）提供跨平台跨工具软件的数据模型2）快速部署数据集3）可协助系统移植或扩容n帮助系统维护 1）降低维护成本：通过影响分析，掌握各程序、数据之间的关系和相互影响，更好地明确系统变更所涉及的范围，避免遗漏；2）帮助数据库管理：通过表重要程度分析，掌握使用率集中或及相对沉寂的库表，帮助库表的重点监控、数据迁移及清理元数据价值对业务人员9u处理特性的根本不同u大量的历史数据u跨部门数据集成和使用u业务人员直接使用数据元数据在电信ODS/DW系统的重要性提高数据质量提高数据质量处理特性的根本不同元数据在电信ODS/DW系统的重要性提高数10电信行业元数据系统建设目标总总目目标标：p实现企业级数据资产的统一视图，支持有效的数据资源管理p建设数据质量管理体系中符合CWM标准的元数据管理平台，为全网ODS/DW数据质量管理体系的建设、扩充和数据交换打下基础，为数据质量管理提供支撑 p完善企业ODS/DW系统基础设施，为数据仓库开发和管理奠定基础具体目具体目标标：p保证数据描述的准确性、一致性，端到端管理p提供业务处理的统一解释，提高数据可信性p支持数据校验、清理，提高数据质量p展示数据和处理的相关性，提高系统运行可靠性电信行业元数据系统建设目标总目标：具体目标：11目录电信行业电信行业电信行业电信行业元数据管理元数据管理元数据管理元数据管理解决方案解决方案解决方案解决方案元数据基本概念元数据基本概念 产品简介产品简介元数据实施简介元数据实施简介元数据建设与维护元数据建设与维护目录电信行业元数据基本概念 产品简介元数据实施简介元数据建设12MetaOneMetaOne元元数数据据产产品定位品定位 企企业级业级元元数数据管理据管理专业应用专业应用数据抽取数据抽取/转转换换业务系统数据业务系统数据源系统1源系统2源系统n源系统3.E T L传输抽取清洗装载转换数据集市数据集市综合管理综合管理OLAP分析ProductStoreMonth报表，adhoc高层领导信息，kpi专题分析专题分析简单专题分析数据挖掘子系统C1C2 w I +01 1 12 23 31 12 21 1大客户分析子系统领导信息子系统专题分析子系统营销活动设计/管理(Campaign Mgmt)客户流失管理(Churn Mgmt)交叉销售设计/管理(Campaign Mgmt)系统调度管理及监控数据集市数据集市数据仓库数据仓库基础应用基础应用MetaOne元元数据数据管理平台管理平台元数据维护与元数据维护与指标管理系统指标管理系统u元数据的承载平台,u为其他需要元数据信息u的产品、应用提供支撑和服务。MetaOne元数据产品定位 企业级元数据管理专业应用13MetaOne环境描述MetaOne环境描述14产品关键特性（一）第三方产品第三方产品完全独立、第三方产品，定位于企业级元数据管理全中文支持全中文支持目前国内支持全中文内核、唯一成熟的元数据管理产品同时适用于各种用户元模型可完全扩展元模型可完全扩展支持CWM规范，可完全扩展，适应企业中长期发展需要端到端的元数据管理端到端的元数据管理提供企业级元数据统一视图，提供了清晰定义和分析跟踪业务运作历史数据的实际可行的解决方案产品关键特性（一）第三方产品15产品关键特性（二）主流开放性主流开放性100%JAVA、J2EE模式构建、基于Web瘦客户端架构；元数据存储于主流关系型数据库；能识别和产生符合CWM国际规范的XML文件；提供开放的调用接口，易于扩展和应用集成强大的强大的分析功能分析功能图形化分析、多种分析功能，如血统分析可快速追溯数据来源和加工过程；影响分析可掌握元数据之间的相互影响元数据自动获取元数据自动获取支持主流BI工具软件如DB2、Oracle、Teradata、DB2 OLAP、Essbase OLAP、PowerCenter、Erwin等，并持续推出更多工具软件接口系统整合系统整合系统可独立运行，并可与其他系统如经分系统无缝整合及双向交互产品关键特性（二）主流开放性16产品优势在国内拥有最多元数据实施的成功案例，如上海电信、安徽电信、吉林移动、广东移动、中国银行等可快速部署元数据管理系统，并支持元数据范围的不断扩展提供预定义元模型目前国内唯一支持全中文内核的元数据产品，同时适用于管理人员、技术人员、业务人员是完全独立的第三方元数据产品，不依附于任何工具软件，开放、通用、支持主流BIBI工具软件开放式元数据存储库，采用主流关系型数据库，以面向对象的方式构建存储模式、易于管理和扩展提供完善的元数据发布流程管理，把元数据变更纳入流程监控，使之更具权威性和可控性提供完善的元数据版本管理，便于追踪元数据变更产品优势在国内拥有最多元数据实施的成功案例，如上海电信、安徽17产品逻辑结构处理层存储层获取层展现层元数据自动获取：DB2、Oracle、Teradata、Powercenter、DB2 OLAP、ESSBASE OLAP、Erwin元数据批量导入：XLS格式、XMI格式元数据手工维护：界面操作应用处理层：系统应用逻辑控制提供元数据的永久存储、元模型控制等功能，支持以主流关系型数据库作为存储库，以面向对象的方式构建存储模式、易于管理和扩展元数据展现：以Web方式展现元数据，能够让用户随时随地的访问元数据；图形方式的展现能以更易于理解的形式表现元数据的内容和依赖关系产品逻辑结构处理层存储层获取层展现层元数据自动获取：应用处理18产品物理架构产品物理架构19元元数数据管理据管理标标准准_CWM_CWM体系体系结结构构uUML描述各种元数据模型uMOF(Meta Object Facility)提供操纵元数据的接口uXMI(XML Metadata Interchange)提供元数据交换的机制元数据管理标准_CWM体系结构UML描述各种元数据模型20产品遵循的元数据与元模型规范n遵循标准化、国际化的CWM模型：Common Warehouse Metamodeln元模型可完全扩展、主流开放性（100%JAVA)产品遵循的元数据与元模型规范遵循标准化、国际化的CWM模型：21Carnation MetaOneCarnation MetaOne成功案例已成功实施上海电信、安徽电信、已成功实施上海电信、安徽电信、吉林移动、四川移动、浙江移动、吉林移动、四川移动、浙江移动、广东移动、中国银行等元数据管理广东移动、中国银行等元数据管理系统系统近期多个移动公司将基于近期多个移动公司将基于Carnation MetaOneCarnation MetaOne实施元数据管实施元数据管理理Carnation MetaOne Carnation MetaOne Carnation MetaOne Carnation MetaOne 是目前唯一是目前唯一是目前唯一是目前唯一可快速部署、全中文的成熟的元数可快速部署、全中文的成熟的元数可快速部署、全中文的成熟的元数可快速部署、全中文的成熟的元数据管理产品，满足企业业务要求，据管理产品，满足企业业务要求，据管理产品，满足企业业务要求，据管理产品，满足企业业务要求，适应企业中长期发展需要适应企业中长期发展需要适应企业中长期发展需要适应企业中长期发展需要Carnation MetaOne成功案例已成功实施上海电信22产品主界面n 基于Web的浏览器方式，操作界面简洁美观、便于操作n界面可更换皮肤，便于适应用户的各种需要产品主界面 基于Web的浏览器方式，操作界面简洁美观、便于操23主要主要应应用及分析功能用及分析功能u主要主要应应用用元数据全文检索业务流程管理的应用需求变更影响评估维表变更评估企业指标库API接口u元元数数据分析据分析图形血统分析表重要程度和无关程度分析图形映射分析差异分析主要应用及分析功能主要应用24元数据全文检索点击可以查看该指标的元数据具体信息点击可以查看该指标的元数据具体信息n 帮助用户在企业级海量信息库中快速检索并准确定位信息项n 帮助用户解决“有哪些信息”、“这些信息在哪里”的问题元数据全文检索点击可以查看该指标的元数据具体信息 帮助用户在25业务业务流程管理的流程管理的应应用用 u图形化维护需求业务流程元数据的相互关系；业务流程管理的应用 图形化维护需求业务流程元数据的相互关系；26需求需求变变更影更影响响评评估估u需求变更影响评估应用主要利用元数据支撑功能，对经营分析维护开发过程提供需求变更评估方面的IT化支撑，减少对人的依赖，在提高需求变更评估效率的基础上，使需求变更的影响评估更全面可靠。u需求变更影响评估应用应满足以下要求:关联实体影响评估、受影响实体关联处理过程评估、维表变更影响评估、灵活展现、影响评估报告 需求变更影响评估需求变更影响评估应用主要利用元数据支撑功能，27需求需求变变更影更影响响评评估估画面演示画面演示关联实体影响评估受影响实体关联处理过程评估 维表变更影响评估需求变更影响评估画面演示关联实体影响评估受影响实体关联处理过28维维表表变变更更评评估估维表变更影响评估维表变更评估维表变更影响评估29企业指标库 指标搜索u检索并定位指标，可找出名称相似的指标做进一步分析点击可以查看该指标的元数据具体信息点击可以查看该指标的元数据具体信息企业指标库 指标搜索检索并定位指标，可找出名称相似的指30元数据应用包指标库管理u通过指标库管理，管理ODS/DW系统乃至整个企业的指标库信息，统一企业的指标定义和作用；并可根据需要扩充指标元模型，对指标库进行相应维护u可浏览指标的基本信息，清楚了解每个指标的业务口径，技术口径等基本属性、可对指标进行血统分析、影响分析u可以业务人员能理解的格式，批量导入指标元数据；可批量导出指标，便于指标信息在企业范围内的分发u可链接到ODS/DW系统查看指标报表数据元数据应用包指标库管理通过指标库管理，管理ODS/DW系统31API接口接口u提供强大的API接口,用户可以基于元数据开发各种应用u灵活强大的API为用户自定义应用提供基础u其方向可能包括但不仅限于：u数据质量、流程管理、元数据分析；u元数据获取、元数据使用；u元数据图形分析API接口提供强大的API接口,用户可以基于元数据开发各种应32元数据应用包系统整合n可方便地与其他系统整合，如ODS/DW系统，实现双向交互n在不改变ODS/DW系统用户操作习惯的情况下，使用户很方便地获得元数据的服务，如搜索报表、指标，查看定义，了解统计口径及数据来源、加工过程、相互影响，帮助理解ODS/DW系统所提供的数据，促进经分系统的推广使用点点击击可可以以查查看看该该指指标标的的元元数据具体信息数据具体信息元数据应用包系统整合可方便地与其他系统整合，如ODS/DW33元数据分析u多种元数据分析功能，有效帮助用户了解企业的统一数据视图、解决“数据从哪里来”、“怎么来”、“相互之间有什么影响”、“它们有何不同”等等问题u如血统分析、影响分析、映射分析、拓扑图分析、表外键关系分析、ER图形展现、表重要程度分析、表无关程度分析、元数据差异分析等血统分析血统分析影响分析影响分析映射分析映射分析元数据分析多种元数据分析功能，有效帮助用户了解企业的统一数据34元数据分析图形血统分析u血统分析：查看数据从哪里来，即数据的加工过程，了解数据的来龙去脉，如某个指标是否来自详单数据u增加用户对数据的信任度，更好地使用数据，如KPI指标元数据分析图形血统分析血统分析：查看数据从哪里来，即数据的35元数据分析图形影响分析u影响分析：预览元数据对全局的影响，有助于执行变更前充分评估，及与相关人员事前沟通u如接口文件、库表、Tcl程序、报表、指标等对其他数据或程序的影响元数据分析图形影响分析影响分析：预览元数据对全局的影响，有36元数据分析图形映射分析u映射分析：查看ETL程序内部的映射关系，了解数据加工过程的细节u帮助技术人员了解数据处理过程涉及到哪些对象、数据转换是否正确u帮助业务人员了解数据如何来的细节，进一步增强对经ETL处理而来的指标、报表数据的信任度元数据分析图形映射分析映射分析：查看ETL程序内部的映射关37元数据分析表重要程度和无关程度分析u表重要程度分析表重要程度分析：按数据库表被使用的情况分析其重要程度，如果一个表在越多地方被使用到，则可以认为它越重要，为数据库管理提供参考u表无关程度分析与表重要程度分析对应，被使用的越少的表，其无关程度（独立性）越高，为数据库管理提供参考元数据分析表重要程度和无关程度分析表重要程度分析：按数据库38元数据分析差异分析u可比较任意两组元数据之间的属性值差异，如分析两个库的库表差异、两个部门的指标差异等u提供对元数据按名称自动匹配的功能，并可人工调整u显示详细的差异分析结果，并可根据实际情况人工调整u差异分析结果可导出为XLS格式的差异分析报告，便于分析和报告元数据分析差异分析可比较任意两组元数据之间的属性值差异，如39元数据应用包人员管理及任务分析u整理整个企业的IT系统维护组如经分项目组的各人员信息，方便理清组内的各人员负责的内容，便于工作协调和交接。元数据应用包人员管理及任务分析整理整个企业的IT系统维护组40元数据应用包主机拓扑信息维护及分析u管理整个企业IT环境的各服务器的相关信息，方便系统维护和管理元数据应用包主机拓扑信息维护及分析管理整个企业IT环境的各41元数据应用包 ETL日志查询与分析u分析ODS/DW库表的抽取、装载情况，帮助快速定位处理异常的库表u配合库表的影响分析，为指标和报表数据的可信度提供依据，协助提高数据质量元数据应用包 ETL日志查询与分析分析ODS/DW库表的抽42电信行业电信行业电信行业电信行业元数据管理元数据管理元数据管理元数据管理解决方案解决方案解决方案解决方案元数据基本概念元数据基本概念 MetaOneMetaOne功能介绍功能介绍元数据实施简介元数据实施简介目目录录元数据管理与维护元数据管理与维护电信行业元数据基本概念 MetaOne功能介绍元数据实施简介43元元数数据管理据管理与与维护维护u元数据的管理与维护是元数据系统建设成败的关键u元数据的应该贯穿整个系统的生命周期设计、开发、测试、维护、扩容u元数据促进系统建设的规范化、流程化、制度化建设规划、设计业务分析系统设计、实现系统运维管理MetaDataMetaData元数据管理与维护元数据的管理与维护是元数据系统建设成败的关键44维护维护与与管理管理uMO的元数据维护机制技术元数据的维护业务元数据的维护管理元数据的维护元模型的管理元数据导入/导出uMO系统管理版本管理用户权限维护与管理MO的元数据维护机制45MO的元的元数数据据维护维护机制机制u元元数数据自据自动获取取支持主流BI工具软件如DB2、Oracle、Teradata、DB2 OLAP、Essbase OLAP、PowerCenter、Erwin等，并持续推出更多工具软件接口u程序元数据设计流程：ETL-MAPPING开发流程：元标注采用MO进行设计；采用MO-API自行开发接口；MO的元数据维护机制元数据自动获取46元模型管理n元模型支持CWM规范，并可完全扩展，适应企业中长期发展需要元模型管理元模型支持CWM规范，并可完全扩展，适应企业中长期47元数据管理n 元数据树型结构展现，反映元数据内部的体系架构n 权限控制可具体到单个元数据，便于有控制地进行信息共享元数据管理 元数据树型结构展现，反映元数据内部的体系架构48元数据维护图形化关系维护n梳理分散于企业各系统、各部门、各数据层面、各工具软件元数据之间的关系，形成企业级完整的数据流图n图形化拖拉方式维护元数据之间的关系，操作方便直观，易于维护和浏览元数据维护图形化关系维护梳理分散于企业各系统、各部门、各数49ETL MappingETL Mapping映射文档解析映射文档解析uETL Mapping映射文档解析u元标注文档解析表表对对象象级级转转换换过程维护过程维护ETL Mapping映射文档解析ETL Mapping映射50元数据维护图形化ETL程序映射关系维护表对象级转换过程维护表对象级转换过程维护nETL是经营分析系统的核心命脉，直接关系着数据质量的好坏n图形化维护ETL程序内部映射关系，梳理ETL过程中表级或字段级的数据处理过程字段级转换过程维护字段级转换过程维护元数据维护图形化ETL程序映射关系维护表对象级转换过程维护51自自开开发发接口接口u通过MO的API及XML文件,自行开发元数据获取接口,系统更灵活更适应用户情况表表对对象象级级转转换换过过程维护程维护MetaOneAPI自定义接口元数据库XML文件自开发接口通过MO的API及XML文件,自行开发元数据获取接52元数据维护元数据整理模板导出n产生便于业务人员、技术人员使用的元数据整理模板，供整理非结构化的业务/技术元数据元数据维护元数据整理模板导出产生便于业务人员、技术人员使用53元数据维护元数据批量导入n向导式批量导入XLS格式、XMI格式的元数据，极大地减少人工在界面的维护工作量元数据维护元数据批量导入向导式批量导入XLS格式、XMI格54元数据维护元数据批量导出u将元数据批量导出为XLS或XMI文件，便于及时分发给普通用户u如随时更新经营分析系统指标口径说明书，统一指标理解和使用元数据维护元数据批量导出将元数据批量导出为XLS或XMI文55元数据版本管理n 记录元数据的每次变更，便于追踪及回溯n 可方便地查询元数据版本变更历史，查看每次变化的具体内容版本恢复版本恢复元数据版本管理 记录元数据的每次变更，便于追踪及回溯版本恢复56元数据版本恢复n 可恢复到指定版本，便于差错回退n 支持录入变更原因（版本日志）、指定新版本状态和版本号元数据版本恢复 可恢复到指定版本，便于差错回退57完善的用户权限管理n 基于角色的权限管理机制，可控制用户使用的功能和可操作的元数据n 提供部门或组模式的用户管理机制，可与企业组织架构保持一致n 支持系统管理员及普通用户完善的用户权限管理 基于角色的权限管理机制，可控制用户使用的58目录电信行业电信行业电信行业电信行业元数据管理元数据管理元数据管理元数据管理解决方案解决方案解决方案解决方案元数据基本概念元数据基本概念 元数据功能介绍元数据功能介绍元数据实施简介元数据实施简介元数据管理与维护元数据管理与维护目录电信行业元数据基本概念 元数据功能介绍元数据实施简介元数59元数据项目实施策略基于元数据产品，搭建企业级元数据管理平台在此基础上根据用户本地需求定制开发，建设符合用户实际需要的元数据管理及元数据应用系统定制开发及元数据梳理分阶段进行、增量迭代元数据项目实施策略基于元数据产品，搭建企业级元数据管理平台60元数据项目实施初始阶段初始阶段构建阶段构建阶段交付阶段交付阶段需求调研需求调研项目总体计划项目总体计划 元数据管理平台搭元数据管理平台搭建建用户培训用户培训系统交付系统交付用户本地化需求定用户本地化需求定制制元数据项目实施初始阶段构建阶段交付阶段需求调研 元数据管理平61carnation谢谢谢谢!carnation谢谢!62电信元数据管理课件63电信元数据管理课件64