DAMA元数据管理活动学习心得

DAMA元数据管理活动学习心得理解元数据需求元数据管理战略必须反映对企业元数据需求的理解，收集需求的目的包括：确认企业需要元数据管理环境设定范围和优先级教育和沟通指导工具评估和实施指导元数据建模指导建立元数据内部标准指导提供基于元数据的服务元数据需求是通过与企业中的业务用户和技术用户进行沟通而获得的，并且对企业中特定人员的岗位角色、职责、挑战等进行分析可提炼出需求，而不是简单地询问用户的元数据需求业务用户对来自于操作型系统和分析系统的信息需要加深理解，来自企业数据仓库、分析应用和操作型系统需要产生让业务用户可以高度信任的信息。此外还需要根据角色定制的信息提供方法，如报表、查询、推送、OLAP、仪表盘等，同时还要附带高质量的文档和信息的上下文背景业务用户需要理解元数据管理的意图和目的，为了给用户提供有意义的业务需求，需要让他们学习数据与元数据的区别，如何让业务用户的关注点限定在元数据需求而非其他的数据需求则是一个挑战另一个对元数据管理的成功至关重要的因素是建立数据治理组织，数据治理委员会是企业数据和元数据管理的方向和需求的治理主体技术用户宏观的技术需求主题包括：每日数据处理流量-大小和处理时间现有元数据已知和未知数据源目标转换物理与逻辑架构流程非标准元数据需求技术用户包括数据库管理员（DBA）、元数据专家、架构师、IT支持人员和开发人员。通常这些人员是企业信息资产的监管人，他们必须完整地理解数据的技术实现，此外他们必须对数据的业务上下文背景有足够程度的理解，以便业务用户所提出的需求提供必要的支持定义元数据架构元数据管理方案或环境包含如下架构层次元数据创建/获取元数据整合一个或多个元数据存储库元数据交付元数据应用和元数据管理/控制元数据管理系统必须具备从多种元数据来源抽取元数据的能力，所设计的元数据架构需要能扫描各种元数据来源并定期更新元数据存储库，且系统必须支持多用户组进行元数据手工更新、请求、搜索和查询一个受控的元数据环境应该为最终用户屏蔽元数据的位置、类型的差异，其架构应该为用户提供一个统一的元数据存储库访问入口，该入口需要透明地向用户提供所有相关元数据的资源公共元数据存储库通常有3中技术架构方法：集中式、分布式、和混合式集中式：一个单独的元数据存储库，保存来自各个元数据来源的最新元数据副本，如果企业高度重视元数据存储库的统一性和一致性，集中式架构是个不错的选择分布式：元数据架构只维护一个单一访问点，元数据获取引擎响应用户的需求，从元数据来源系统实时获取元数据，而不存在永久的元数据存储库中混合元数据架构中元数据依然从元数据来源系统进入存储库，但存储库的设计只考虑用户增加的元数据、高度标准化的元数据以及手工获取的元数据。该架构的好处是可以实现准时的获取元数据，以及提供更完善的元数据信息更好地满足元数据用户的需求。混合架构减少了IT人工参与和访问私有系统所需的定制化开发功能，但混合架构不能提升系统的可用性。混合架构适用于快速变更的元数据、需要元数据的统一和一致、并且元数据量和元数据来源数量都显著增长的组织开发和维护元数据标准元数据标准有两种类型：行业或共识标准，以及国际标准，总体而言国际标准是制定和执行行业标准的基础框架行业元数据标准对于希望实施元数据管理、引进和使用适用的元数据方案的企业至关重要，元数据标准与运营交易伙伴进行数据交换的领域非常关键，许多公司意识到了与客户、供应商、合作伙伴和监管机构进行数据共享的价值，而信息共享需要公共元数据共享的支撑数据整合、关系型和多维数据库、需求管理、商务智能报表、数据建模和业务规则在内的各种技术都提供了基于XML的元数据和数据的导入导出能力。对于XML的支持是重要的，但是由于缺少XML Schema标准，所以进行跨产品的元数据整合就变成了巨大的挑战值得关注的行业元数据标准包括：OMG规范：公共仓储元模型（CWM）、本体定义元模型（ODM）万维网协会（W3C）：资源描述框架（RDF）都柏林核心规范：都柏林核心元数据（DCMI）非结构化数据的元数据标准：ISO5964、ISO2788、 ANSI/NISO Z39 ISO 704空间地理标准值得关注的国际元数据标准 ISO/IEC 11179标准化元数据的评估指标为控制环境中所实施的元数据的有效性，应对量化评估用户的理解、企业的投入以及内容覆盖度和质量，评估指标主要应采取定量指标，包括：元数据存储库的完整性元数据文档的质量主数据服务数据合规性管理职责/范围元数据的使用/引用元数据管理成熟度元数据存储库可用性实现受控的元数据环境为减小风险并提高被接受的程度，一般通过分布推进的方式实现一个受控的元数据环境：实施一个试验项目来理解受管理的元数据环境并进行概念验证，一个试验项目应具有一定的复杂度，包括需求评估、战略制定、技术评估选型和初始实施周期在后续项目中包含路线图规划、人员培训、组织变更和一个后续发布计划，并根据需要进行评估和再评估工作创建和维护元数据添加元数据等操作可以由授权用户和程序以手工方式完成，也可以通过元数据创建和更新工具定期扫描和更新存储库，最后需要采用审计流程以验证各项操作活动并报告异常企业将元数据视为数据的索引，因此元数据的质量至关重要，低质量元数据会导致：重复的数据字典/存储库/元数据存储库不一致的元数据元数据的来源和版本有冲突对元数据系统可靠性的质疑相反高质量的元数据会带来：在企业层面的信息对于数据资源的价值的一致理解企业范围内的元数据即知识整合元数据元数据整合过程是在企业范围内采集并存储元数据的过程，也包括企业外部数据的元数据，把元数据来源库中抽取到的元数据，与相关的业务元数据和技术元数据进行整合，最终存储到元数据存储库中。元数据抽取有多种方式，包括适配程序、扫描程序、桥接程序或者直接访问数据存储中的元数据元数据整合过程中可能存在一些挑战，也可能需要诉诸于数据治理流程进行协调解决，如对内部数据集、外部数据、非电子形式数据进行整合时，可能会出现大量的质量和与语义方面的问题管理元数据存储库对存储库的控制意味着对元数据技术人员执行的元数据迁移和存储库更新活动进行控制，包括监视、响应报告、告警、任务日志和解决存储库环境中的各类问题元数据存储库是指存储元数据的物理数据库表，通常采用开放标准的关系型数据库平台实现存储库的内容在设计上应该是通用的，而不是仅仅反应来源系统的数据库设计，并需要综合考虑企业主题域专家的意见，同时基于一个易于理解的元数据模型。目录是一类元数据存储，它将元数据限制在特定位置或数据来源，应在目录中指明多个来源，元数据目录对于开发人员、数据超级用户和数据分析师尤为有用术语表通常提供术语使用的索引，同义词可以指导用户完成相等、层级、关联的关系结构化选择，可以为“术语表内”和“术语表间”的两个术语之间指定这些关系类型分发和交付元数据元数据交付层负责将元数据从存储库分发到最终用户和其他需要使用元数据的应用或工具，包括：元数据内网报告、术语表、其他文档及网站数据仓库、数据集市和商务智能工具建模和软件开发消息传输交换应用程序外部组织接口方案查询、报告和分析元数据元数据指导我们如何使用数据资产，体现在商务智能（报表和分析）、商业决策（操作型、运营型、战略型）以及业务语义方面使用元数据指导我们如何管理数据资产：在数据治理流程中使用元数据进行控制、治理；信息系统实现和传送过程中使用元数据增加、变更、删除和访问数据；数据整合通过数据的标签或元数据实现数据整合，元数据控制并审计数据、流程和系统整合；一些质量提升活动通常是从对元数据及元数据与数据关系进行检查开始的元数据存储库应该具有前端应用程序，并支持查询和获取功能，从而满足以上各类数据资产管理的需要综述建立元数据管理职能的指导原则：建立和保持一套元数据战略和相关政策，特别是有关元数据管理和使用方面的清洗目标和目的需要来自于高层管理者的对企业元数据管理的持续可靠承诺、资金支持和宣传方面的支持从企业全局着眼规划，确保可扩展性；同时采取迭代和渐进交付的实现方案评估、采购和安装元数据产品之前，制定元数据战略建立或采用元数据标准，确保在企业范围内元数据的互操作性确保对内部和外部元数据的有效获取最大化的用户访问，因为没有使用或使用率较低的方案无法体现业务价值理解和沟通元数据的必要性和每一类元数据的目的；传播元数据的价值，促进业务使用评估元数据内容和使用情况采用 XML、消息和WEB服务等技术手段建立数据监管制度，并保持业务人员对该制度的参与，赋予元数据管理责任定义操作程序和流程并进行监控，确保政策执行的正确性关注角色、人员、标准、操作程序、培训和评估指标为项目和后续管理提供专职的元数据专家认证元数据的质量