分布式数据仓库元数据的安全模式探讨.ppt

分布式数据仓库元数据的安全模式探讨 西南交通大学信息学院刘林 引言 随着计算机网络和数据库技术的迅速发展 使得企业的管理进入了一个全新的时代 人们已经不满足进行简单的信息管理和各种数据及事务管理 同时计算机技术 网络技术和数据库技术的迅猛发展为决策支持系统 DDS 提供了必要的技术环境 数据仓库技术正是为了解决信息管理和大量数据之间矛盾的出现的 1 分布式数据仓库 数据仓库环境有单一中央集成和分布式两种类型 随着经济社会的发展 使得企业的经营管理模式自然地呈现出分布式的特点 同时由于一些其他的原因 当前企业内部存在许多不兼容却又相互独立的事务处理系统 对这些系统中的数据进行相关的集成 可以方便向分析人员提供统一的数据视图 1 1分布式数据仓库的优越性 成本低 对于一个数据仓库 采用分布式技术时 软硬件成本要低于采用大的 中央集成的数据仓库理论上的存储容量无限 由于存储服务器是分布式安放 如果数据仓库中的数据量要超过设计时的理论数据量时 可以通过直接增加存储服务器来增加存储容量 1 2局部数据仓库 局部数据仓库在远程站点上提供和处理数据 它包含局部站点上的历史的和集成的数据 且各个局部站点上的数据结构和数据各不相同它的数据各自来源于实际运作系统 通常不同地域不同群体之间可以用不同的技术构造数据仓库 1 3全局数据仓库 全局数据仓库的范围涉及到整个企业或者组织 是整个企业内部公共的 历史的和集成的数据集合 和局部数据仓库的数据源不同的是 全局数据仓库的数据不仅仅可以来源于自己的实际操作环境 而且也可以来源于局部数据仓库和外部数据源 全局数据仓库不是对从局部数据仓库来的数据进行简单的堆积 而是对局部数据仓库中的数据进行重新组合 综合集成 1 4数据模式 全局数据仓库包含企业内部的公共集成数据 是对局部数据仓库中数据进行加工 综合处理后的结果 如何将局部数据仓库的数据映射到全局数据仓库是成功的建造分布式数据仓库环境的关键 全局数据仓库拥有一个公共的数据结构 反映内部所有的公用数据 在分布式数据仓库系统中 元数据起着非常重要的作用 通过它可以协调不同地区 不同服务器上局部数据仓库中的数据结构 毫无疑问 元数据是实现数据一致性和相容性的重要工具 2 元数据 元数据是数据仓库的一个重要组成部分 元数据就是数据的数据 自从有了程序和数据 元数据就是信息处理环境的一部分 它在数据仓库环境中扮演建立 维护 管理和使用的各个方面的关键角色 元数据按功能和使用用户可以分为三类 业务元数据 用业务名称 定义 描述和别名来表示数据仓库中的各种属性 直接供用户使用 技术元数据 描述了源系统 数据转换 抽取过程 工作流 加载策略及目标数据库的定义等 供技术开发人员使用商业元数据 描述了目标表的信息 刷新时间 粒度 记录数按时执行时间等 供操作人员使用 数据仓库一般分为三层 最下面的是数据提取层 中间的是数据存储层 上面的是数据显示层 底层完成对数据源的数据进行抽取和转换 并装载到数据仓库 存储层将下层提供的数据按各种合理的数据结构进行进行组织和存储 并对显示层提供支持 顶层包括查询和分析及数据挖掘等为使用人员提供方便 元数据的建立过程 元数据是数据仓库数据的集合 与传统的数据库中数据字典作用类似 在数据仓库中是通过元数据来记录数据仓库所存储数据的结构和数据之间的关系 外部数据源的数据要进入数据仓库需要经过数据的抽取 数据的清洗 数据的转换 数据的并归等处理数据的同步和一致性是数据仓库系统的一项重要工作 数据仓库的更新操作也需要元数据机制来进行记录 并且由于维护数据的一致性是一项动态的工作 需要在系统运行过程中保持动态监测和维护 所以元数据机制还要动态的记录数据的一致性维护执行情况 数据的质量关系到数据仓库系统的生命 而元数据机制正是保证质量的关键 元数据记录着数据的抽取 数据的清洗 数据的转换 数据的并归等处理 同时还对数据提供必要的保护机制 对不同级别的访问者提供不同级别的访问权限 以保证数据的安全 我们可以利用好元数据来控制用户对数据仓库中数据的访问 元数据的标准化使得分散在不同地区的元数据进行互通成为可能 同时为分布式数据仓库系统的互联互通打下了基础 3 一种基于元数据的分布式安全模式 基于元数据而设计的一种分布式数据仓库安全模式 它主要是通过在全局数据仓库和局部数据仓库的元数据中建立 访问控制表 以及 子表 来实现对数据仓库的安全控制 该表是由数据仓库中各个层次上的数据表加上每种用户的访问权限表合并在一起而形成的 同时由于元数据的标准化使得分散在各个地域的子数据仓库和总数据仓库可以互联互通 那么全局安全表也可以包含子安全表 那么通过这样一个安全访问体系来实现分布式数据仓库的信息安全需要 当用户要访问数据仓库系统之前首先访问控制表要验证该用户是否是合法的用户 如果是合法的用户就根据表中该级别用户的访问权限控制用户对数据仓库的访问 同时由于是分布式系统 全局数据仓库的高级别用户可以通过远程连接的方式访问局部数据仓库的内容 在访问方式上也可以采用一些必要的访问策略 比如 当某用户使用了超出他级别的权限对数据仓库进行访问是 访问控制表就会根据表中所规定权限给与其相应的数据 从而屏蔽掉其他数据 但对此用户来说系统对他来说却是 透明的 这样就减少了非法访问的企图 该模型的另外一个优点是便于集成 因为访问控制表位于元数据之中的 当在建立数据仓库的同时也就建立元数据系统 访问控制表也就随之建立 不需要额外的工作