元数据管理与CWM标准解析课件

元数据管理与CWM标准中国移动业务支撑系统部2008-04元数据管理与CWM标准中国移动业务支撑系统部1 提纲元数据管理基本概念元数据定义元数据管理CWM元数据标准CWM标准概述对象模型层基础层资源层分析层管理层提纲元数据管理基本概念2 元数据定义“关于数据的数据”比一般意义的数据范畴更加广泛不仅表示数据的类型、名称、值等信息提供数据的上下文描述信息（比如数据的所属区域、取值范围、数据间的关系、业务规则、数据来源等等）元数据定义“关于数据的数据”3 元数据定义TransformationRelationalTHE BUSINESSPEOPLEPROCESSINFORMATION SYSTEMSPRODUCTSGOALSPROJECTSROLESMeta Data元数据定义TransformationRelationalT4 经营分析系统关心的元数据业务元数据业务名称、定义、描述和别名来表示数据仓库和业务系统中的各种属性，直接供业务分析人员使用 业务元数据使经营分析系统使用人员能够更好理解、使用数据仓库，成为经营分析系统使用人员在数据仓库中的业务向导 经营分析系统关心的元数据业务元数据5 经营分析系统关心的元数据技术元数据包含关于经营分析系统数据技术层面的信息数据源元数据ETL元数据数据仓库元数据数据集市元数据OLAP SERVER元数据前端展现元数据其它类型元数据（挖掘模型，数据质量分析结果等）经营分析系统关心的元数据技术元数据包含关于经营分析系统数据技6 经营分析系统关心的元数据管理元数据主要是指经营分析日常建设过程中，涉及开发、运维等管理流程的基本信息。经营分析系统关心的元数据管理元数据主要是指经营分析日常建设过7 提纲元数据管理基本概念元数据定义元数据管理CWM元数据标准CWM标准概述对象模型层基础层资源层分析层管理层提纲元数据管理基本概念8 元数据管理管理商业智能系统的元数据贯穿商业智能系统的各个环节系统的各个处理单元由元数据驱动元数据管理管理商业智能系统的元数据9 管理元数据的意义有哪些数据？它们在哪里用？它的业务定义是什么？这个数据还叫什么？它与其他数据有什么关系？谁用这个数据？为什么我们要用它？最近修改是什么时候？这些数据准确、可靠吗？管理元数据的意义有哪些数据？10 管理元数据的意义理解企业内部的信息资源动态的数据字典数据的浏览和归纳数据在企业内部横向与纵向传递保持整个企业的标准（保证企业内部统一的商业定义和商业规则）数据生命周期的管理管理元数据的意义理解企业内部的信息资源11 元数据管理的几个概念元模型（元模型（meta model）元数据库（元数据库（metadata repository）元数据管理工具元数据管理工具元数据管理的几个概念元模型（meta model）12 元模型关于元数据的“元数据”MDIS(Meta Data Interchange Specification)元数据联盟发布的元数据交换规范OIM(Open Information Model)CA和微软的元数据标准OIM组织已经解散CWM(Common Warehouse Metamodel)OMG组织制定的标准得到IBM，NCR，SAS，Hyperion等公司支持利用XMI文件进行交换元模型关于元数据的“元数据”13 元数据库元数据库就是一个逻辑上的统一存储元数据的地点元数据存储常见的形式分散存储统一存储，提供不同接口统一存储，统一接口元数据库元数据库就是一个逻辑上的统一存储元数据的地点14 不同系统各自提供元数据接口n 实现复杂n元数据不统一n易成为”蜘蛛网”不同系统各自提供元数据接口 实现复杂15 中央元数据存储n所有存取必须通过中央存储n元数据交换不方便n中央元数据存储必须对每一个系统有转换接口中央元数据存储所有存取必须通过中央存储16 基于标准的中央元数据管理n有利于元数据的交换n屏蔽系统内部变化n中央元数据只需要统一接口基于标准的中央元数据管理有利于元数据的交换17 元数据管理工具元数据浏览、展示和管理的平台知名的元数据管理工具包括：Meta CenterMeta MatrixMeta IntegrationDB2,Teradata,Oracle等数据仓库中的元数据管理模块元数据管理工具元数据浏览、展示和管理的平台18 元数据管理与CWM标准解析课件19 提纲元数据管理基本概念元数据定义元数据管理CWM元数据标准CWM标准概述对象模型层基础层资源层分析层管理层提纲元数据管理基本概念20 CWM标准背景OMG是一个拥有500多会员的国际标准化组织，著名的CORBA标准即出自该组织。公共仓库元模型（Common Warehouse Metamodel）的主要目的是在异构环境下，帮助不同的数据仓库工具、平台和元数据知识库进行元数据交换。CWM标准背景OMG是一个拥有500多会员的国际标准化组织，21 CWM标准的意义在形成标准以前，要进行集成的情况如下图所示：数据建模工具抽取与转换工具前端访问工具数据质量评估工具CWM标准的意义在形成标准以前，要进行集成的情况如下图所示：22 CWM标准的意义在形成标准以后的情况如下图所示：数据建模工具抽取与转换工具前端访问工具数据质量评估工具元数据元数据存储与存储与管理管理数据仓库与元数据仓库与元数据管理员数据管理员CWM标准的意义在形成标准以后的情况如下图所示：数据建模工具23 CWM的发展状况成为OMG提出的基于模型驱动的体系结构（MDA）的核心之一（其它是MOF和UML）CWM的发展状况成为OMG提出的基于模型驱动的体系结构（MD24 CWM标准概述CWM标准是基于以下工业标准制定的：UML：它对CWM模型进行建模。MOF（元对象设施）：为CWM提供元模型的体系结构和元模型语言的语义；MOF反射接口为存取CWM元数据提供通用的API接口；MOF到IDL的映射为存储CWM元数据提供了一种产生CWM IDL 接口的机制。XMI（XML元数据交换）：它可以使元数据以XML文件流的方式进行交换。CORBA IDL(CORBA 接口定义语言)CWM标准概述CWM标准是基于以下工业标准制定的：25 OMG元数据体系结构OMG元数据体系结构26 OMG元数据体系结构实例PRODUCT IDNAMECOLOR1001WidgetRed2002GizmoBlue2002SprogetTeal4034ThingamgigerGray5035GadgetYelloPRODUCT表和它的记录表和它的记录M0层层OMG元数据体系结构实例PRODUCT IDNAMECOLO27 OMG元数据体系结构实例M1层层ProductIDNameColorisActive=TureDataType=“Integer”DataType=“String”DataType=“String”Product表元数据表元数据OMG元数据体系结构实例M1层ProductIDNameCo28 OMG元数据体系结构实例M2层层简单关系型表元模型简单关系型表元模型OMG元数据体系结构实例M2层简单关系型表元模型29 CWM元数据存储和接口实现CWM元数据存储和接口实现30 CWM的发展状况绝大多数数据仓库和元数据管理工具已经支持CWM，或已经宣布在下一版本的产品中支持CWM。已经被JAVA标准化组织着手扩展到J2EE体系结构当中，形成JMI（JAVA Metadata Interchange）规范、用于OLAP分析的JOLAP规范和用于数据挖掘的JDMAPI规范。CWM的发展状况绝大多数数据仓库和元数据管理工具已经支持CW31 CWM的合作伙伴IBMUnisysNCRHyperionOracleUBSGenesisDimension EDICWM的合作伙伴IBM32 CWM的支持者DeereSUNHPData AccessInlineAonixHitachiSASMeta IntegrationAdaptiveCWM的支持者Deere33 ETL产品产品名称 是否支持CWM 元数据互换其他形式 IBM DB2 Warehouse Manager 支持Metadata Interchange Specification(MDIS).通过API输入/输出Oracle Warehouse Builder 是Sagent 不能确定通过API输入/输出 Informatica PowerCenter 是Cognos Decision Stream 支持通过API输入/输出 TeraData ETL组件 是ETL产品产品名称 是否支持CWM 元数据互换其他形式 IB34 OLAP产品产品名称 是否支持CWM 元数据互换其他形式 Essbase/DB2 OLAP Server 支持Metadata Interchange Specification(MDIS).通过API输入/输出Cognos支持通过API输入/输出 Oracle 9i OLAP是OLAP产品产品名称 是否支持CWM 元数据互换其他形式 E35 数据仓库元数据管理产品产品名称 是否支持CWM 元数据互换其他形式 IBM DB2 Information Catalog 支持Metadata Interchange Specification(MDIS).通过API输入/输出Warehouse Control Center 是CA PLATINUM Repository 是通过API输入/输出 TeraData Meta Data Services 是通过API输入/输出Oracle Warehouse Builder Repository 是数据仓库元数据管理产品产品名称 是否支持CWM 元数据互换其36 提纲元数据管理基本概念元数据定义元数据管理CWM元数据标准CWM标准概述对象模型层基础层资源层分析层管理层提纲元数据管理基本概念37 CWM标准包及其分层仓库过程仓库操作转换XML记录型多维关系型资源业务信息软件发布UML 1.3(基础，行为元素，模型管理)对象(UML)OLAP分析数据挖掘信息可视化业务术语数据类型表达式键索引类型映射管理管理资源资源分析分析基础基础对象模型对象模型CWM标准包及其分层XML记录型多维关系型资源业务信息软件发38 对象模型层（Object Model）CWM对象模型提供了描述其他所有包中元数据模型的类的基本结构和相应的类型属性定义基本元模型的概念，关系和约束包括4个基本包：核心包(Core)行为包(Behavioral)关系包(Relationship)实例包(Instance)对象模型层（Object Model）CWM对象模型提供39 核心包(Core)包含所有的其他CWM包使用的基本类和关联不依赖于其他任何包核心包(Core)包含所有的其他CWM包使用的基本类和关联40 行为包(Behavioral)描述其他CWM包中类的行为特征，提供一个记录特定行为请求的基础 包括操作，方法，接口，事件等行为包(Behavioral)描述其他CWM包中类的行为特征41 关系包（Relationship）描述CWM对象之间如何互相联系定义了两种类型的关系泛化(Generalization)关联(Association)泛化是具有普遍性的对象和特定对象的关联，层次化的结构关联定义两个或多个类元之间的特定关系关系包（Relationship）描述CWM对象之间如何互相42 元数据管理与CWM标准解析课件43 实例包（Instance）提供了在CWM交换中包含带值元数据的基础结构实例包（Instance）提供了在CWM交换中包含带值元数据44 提纲元数据管理基本概念元数据定义元数据管理CWM元数据标准CWM标准概述对象模型层基础层资源层分析层管理层提纲元数据管理基本概念45 基础层（Foundation）仓库过程仓库操作转换XML记录型多维关系型资源业务信息软件发布UML 1.3(基础，行为元素，模型管理)对象(UML)OLAP分析数据挖掘信息可视化业务术语数据类型表达式键索引类型映射管理管理资源资源分析分析基础基础对象模型对象模型基础层（Foundation）XML记录型多维关系型资源业务46 基础层（Foundation）提供为驻留在更高层次的其他包提供CWM特定的服务的包包括6个包业务信息包（Business Information）数据类型包（Data Types）表达式包（Expression）键和索引包（keys and indexes)软件部署包（Software Deployment）类型映射包（Type Mapping）基础层（Foundation）提供为驻留在更高层次的其他包提47 业务信息包（Business Information）业务信息元模型给所有CWM包提供了面向业务的信息这里面向业务指的是支持数据仓库和商业智能负责单位如何联络离线文档业务信息包（Business Information）业务48 元数据管理与CWM标准解析课件49 数据类型包（Data Types）提供了支持定义基本数据类型和构造数据类型所需的基本结构CWM模型本身没有定义很多的现有类型，但是通过数据类型包可以建立目前现有的大多数系统的数据类型数据类型包（Data Types）提供了支持定义基本数据类50 元数据管理与CWM标准解析课件51 表达式包（Expression）表达式包提供了统一的表达式树的格式，可以为转换包等进行服务。统一的表达式格式给ETL流程分析或其他的元数据分析提供了基础表达式包（Expression）表达式包提供了统一的表达式52 元数据管理与CWM标准解析课件53 键和索引包（keys and indexes)键和索引包提供了统一的对元素进行标识、排序和检索所需的方法，可以为其它包所共享索引是按顺序安排的元素列表键是一个或多个值的集合，用来确定数据库中的某项记录键和索引包（keys and indexes)键和索引包54 类型映射包（Type Mapping）定义了作为数据类型集合的类型系统的概念，还支持类型系统间数据类型的转换主要是为满足不同系统之间数据类型差异进行的映射可以进行多对多映射类型映射包（Type Mapping）定义了作为数据类型55 软件部署包（Software Deployment）为了管理和记录各个软件系统的分布和连接情况，用于记录如何使用数据仓库中的软件和硬件捕捉尽可能多的、其他CWM包需要的可操作的配置信息，而不是完全的通用模型软件部署包（Software Deployment）为了管56 元数据管理与CWM标准解析课件57 提纲元数据管理基本概念元数据定义元数据管理CWM元数据标准CWM标准概述对象模型层基础层资源层分析层管理层提纲元数据管理基本概念58 资源层仓库过程仓库操作转换XML记录型多维关系型资源业务信息软件发布UML 1.3(基础，行为元素，模型管理)对象(UML)OLAP分析数据挖掘信息可视化业务术语数据类型表达式键索引类型映射管理管理资源资源分析分析基础基础对象模型对象模型资源层XML记录型多维关系型资源业务信息软件发布UML 1.59 资源层(Resource)描述以CWM为中介的交换中既可作为源又可作为目标的数据资源的结构包括5个包：对象包（Object Model）关系型包（Relational）记录包（Record）多维包（Multidimensional）XML包（XML）资源层(Resource)描述以CWM为中介的交换中既可作为60 对象包（Object Model）CWM已经在对象模型层包含了一个非常好的对象模型对象模型层的核心包，行为包，关系包和实例包都可以直接建立面向对象的数据资源描述也用于描述面向对象数据库的结构和面向对象应用组件的结构如果遇到不能处理的特征和功能时，可以定义扩展包来增加处理能力对象包（Object Model）CWM已经在对象模型层包含61 关系型包（Relational）描述关系数据库的模式支持遵从SQL99标准及其面向对象扩展的关系数据库描述CWM中最大的包，涉及的类总共68个ContainersTables,Columns,and Data TypesStructured Types and Object ExtensionsKeysIndexTriggersProceduresInstances关系型包（Relational）描述关系数据库的模式62 元数据管理与CWM标准解析课件63 列及数据类型应用举例列及数据类型应用举例64 记录包（Record）提供了用于描述各种面向记录的数据结构的基础结构包括记录的结构、记录的实例、记录文件等记录包（Record）提供了用于描述各种面向记录的数据结构的65 元数据管理与CWM标准解析课件66 多维包（Multidimensional）提供关于多维数据库的通用描述包括多维模型中的维、维的层次，维属性、维成员和维度量等数据结构，以及钻取等操作。多维包（Multidimensional）提供关于多维数67 XML包（XML）定义了 如何在CWM中使用XML文档描述数据仓库中的数据源XML包 包含用于描述XML数据源的通用类和关联基于XML 1.0 XML包（XML）定义了 如何在CWM中使用XML文档描述数68 提纲元数据管理基本概念元数据定义元数据管理CWM元数据标准CWM标准概述对象模型层基础层资源层分析层管理层提纲元数据管理基本概念69 分析层仓库过程仓库操作转换XML记录型多维关系型资源业务信息软件发布UML 1.3(基础，行为元素，模型管理)对象(UML)OLAP分析数据挖掘信息可视化业务术语数据类型表达式键索引类型映射管理管理资源资源分析分析基础基础对象模型对象模型分析层XML记录型多维关系型资源业务信息软件发布UML 1.70 转换包转换包包括了所有BI中涉及到ETL过程的元模型object-orientedRelational record multidimensionalXML OLAP data mining.转换包转换包包括了所有BI中涉及到ETL过程的元模型71 转换包转换包提供了描述ETL工具和ETL行为的通用的元数据，尤其是：将ETL过程与数据源和数据目标进行关联。数据源和数据目标可以是任何类型（基于关系或面向对象），任何粒度（类、属性、表、列），并且可以是永久的或易失的。允许将ETL过程进行分组，并行执行以提高执行效率。包括ETL过程的加载情况，行为和步骤等等。转换包转换包提供了描述ETL工具和ETL行为的通用的元数据，72 OLAP包定义了描述OLAP系统通用概念的元数据，提供了将OLAP中的元数据内容映射到具体的物理数据源中的方法 将OLAP模型映射到CWM数据源的包中，如 CWM 关系型包（ROLAP）或 多维包（MOLAP）.OLAP包定义了描述OLAP系统通用概念的元数据，提供了将O73 数据挖掘包为数据挖掘模型构建较为通用的表示方法除数据挖掘计划和模型之外其他一些跨挖掘模型或者挖掘工具的实体（例如分类矩阵）以及它们之间的关系和对技术元数据的映射都包括在数据挖掘元数据的范围之内 经营分析系统中有关数据挖掘的元数据分为七个领域：核心挖掘元数据、和聚类相关的元数据，关联规则元数据，和监督相关元数据，和分类相关元数据，和近似估计相关的元数据与属性重要性的元数据数据挖掘包为数据挖掘模型构建较为通用的表示方法74 信息可视化包信息可视化元模型定义了支持信息发布和信息可视化的元数据CWM信息可视化元模型定义了通用的容器，为实现更加复杂的可视化机制提供支持信息可视化包信息可视化元模型定义了支持信息发布和信息可视化的75 业务术语包数据仓库的用户需要很好的理解仓库中包含的信息，以及仓库提供的工具。比如信息的意义，信息来自于哪个数据源，有哪些工具可以管理及展示这些信息。业务术语包提供了能表达业务元数据的实体和关系。业务术语包数据仓库的用户需要很好的理解仓库中包含的信息，以及76 提纲元数据管理基本概念元数据定义元数据管理CWM元数据标准CWM标准概述对象模型层基础层资源层分析层管理层提纲元数据管理基本概念77 管理层仓库过程仓库操作转换XML记录型多维关系型资源业务信息软件发布UML 1.3(基础，行为元素，模型管理)对象(UML)OLAP分析数据挖掘信息可视化业务术语数据类型表达式键索引类型映射管理管理资源资源分析分析基础基础对象模型对象模型管理层XML记录型多维关系型资源业务信息软件发布UML 1.78 仓库过程数据仓库过程主题描述了数据仓库的信息流。信息流被用来表示转换包中描述的ETL过程。一个仓库过程对象将一个ETL转换过程与一个事件集联系起来，事件集被用来触发转换的执行。仓库过程数据仓库过程主题描述了数据仓库的信息流。信息流被用来79 仓库操作（1）仓库操作主题包含了描述数据仓库处理中的日常操作的实体和关系，记录了数据仓库处理中的三类重要事件转换执行事件度量事件请求更改事件仓库操作（1）仓库操作主题包含了描述数据仓库处理中的日常操作80 仓库操作（2）转换执行（Transformation Executions）记录了最近的ETL过程执行的细节信息，标识了ETL过程开始和结束的时间等。这些信息可以用来确定数据仓库中一些与过程执行状态相关的特定信息。仓库操作（2）转换执行（Transformation Exe81 仓库操作（3）度量（Measurements）度量事件能够为模型元素维护一些度量的标准。比如它们可以用于保存一个表的真实大小、估计大小和计划的大小。可以协助预测系统的规模并作出决策。仓库操作（3）度量（Measurements）82 仓库操作（4）请求更改（Change Requests）请求更改事件使得影响模型元素的改变能够被详细记录，也可以被用于维护更改的历史记录。一般会记录哪些请求被执行或拒绝仓库操作（4）请求更改（Change Requests）83 小结元数据，经营分析系统关心的元数据元数据管理的意义CWM标准对象模型层，基础层，资源层，分析层，管理层小结元数据，经营分析系统关心的元数据84 小结推荐书籍：公共仓库元模型开发指南公共仓库元模型数据仓库集成标准导论元数据仓储的构建与管理 小结推荐书籍：85 谢 谢！谢 谢！86