高级数据库技术-高级数据库技术10－DW+olap原理

数 据 仓 库 与 olap分 析高 级 数 据 库 技 术 课 程 讲 义郭 玉 彬 数 据 仓 库 与 OLAP分 析n 数 据 仓 库 原 理 与 实 现 技 术n ETL原 理 与 实 现 技 术 数 据 仓 库 原 理 与 实 现 技 术 技 术 现 状 2007年 olap技 术 发 展 ：n Microsoft收 购 专 业 开 发 企 业 分 析 软 件 的ProClarity， 还 发 布 了 PerformancePoint Server 2007n Oracle发 布 了 具 有 内 嵌 OLAP功 能 的 数 据库 产 品 10g， 以 及 在 2007年 收 购 了 专 业 的 BI公 司 Hyperion数 据 仓 库 原 理 与 实 现 技 术 技 术 现 状 数 据 仓 库 原 理 与 实 现 技 术 技 术 现 状n Oracle的 数 据 仓 库 解 决 方 案1. Oracle Express：n Oracle Express Server是 一 个 MOLAP (多 维 OLAP)服 务 器n Oracle Express Web Agent支 持 基 于 Web的 动 态 多 维 数 据 展现n Oracle Express Objects前 端 数 据 分 析 工 具 ， 提 供 图 形 化 建模 和 假 设 分 析 功 能 ， 支 持 可 视 化 开 发 和 事 件 驱 动 编 程 技 术 ，提 供 兼 容 Visual Basic语 法 的 语 言 ， 支 持 OCX和 OLE； n Oracle Express Analyzer是 通 用 的 、 面 向 最 终 用 户 的 报 告 和分 析 工 具 （ 目 前 仅 支 持 Windows平 台 ） 。2. Oracle Discoverer即 席 查 询 工 具 是 专 门 为 最 终 用 户 设计 的 ， 分 为 最 终 用 户 版 和 管 理 员 版 。 数 据 仓 库 原 理 与 实 现 技 术 技 术 现 状n Microsoft将 OLAP功 能 集 成 到 Microsoft SQL Server 7.0中 ， 提 供 可 扩 充 的 基 于COM的 OLAP接 口 。 它 通 过 一 系 列 服 务程 序 支 持 数 据 仓 库 应 用 。 n Sybase Warehouse Studio 包 括 数 据 仓 库 的 建 模 、 数 据 抽 取 与 转 换 、数 据 存 储 与 管 理 、 元 数 据 管 理 以 及 可 视化 数 据 分 析 等 工 具 。 数 据 仓 库 原 理 与 实 现 技 术 技 术 现 状n IBM:基 于 可 视 数 据 仓 库 的 商 业 智 能 （ BI） 解决 方 案 ， 包 括 ： Visual Warehouse（ VW） 、Essbase/DB2 OLAP Server 5.0、 IBM DB2 UDB， 以 及 来 自 第 三 方 的 前 端 数 据 展 现 工 具（ 如 BO） 和 数 据 挖 掘 工 具 （ 如 SAS） 。n Business Objects（ BO） 是 集 查 询 、 报 表 和OLAP技 术 为 一 身 的 智 能 决 策 支 持 系 统 。 n SAS公 司 90年 代 加 入 数 据 仓 库 市 场 的 竞 争 ， 并提 供 了 特 点 鲜 明 的 数 据 仓 库 解 决 方 案 ， 包 括30多 个 专 用 模 块 。 数 据 仓 库 原 理 与 实 现 技 术 系 统 分 层 结 构 图 数 据 层各 种 数 据 源计 算 层关 系 数 据 库 XML 文 本 文 件透 视 表 服 务 数 据 挖 掘 其 它 可 视 化控 制 层呈 现 层 系统总体架构图 数 据 仓 库 原 理 与 实 现 技 术 -模 块 划 分n 元 数 据 （ MetaData）n 数 据 立 方 体 预 计 算 （ PreComputation）n 数 据 立 方 体 查 询 （ QueryComputation）n MDX解 析 （ MDXParser）n XMLA引 擎 （ Engine）n 管 理 控 制 台 （ Manager Console）n XODBC数 据 访 问 （ XODBC）n ETL 数 据 仓 库 基 础 知 识 与 数 据 库 区 别n 用 户 和 系 统 的 面 向 性 :OLTP是 面 向 顾 客 的 ,用 于 事 务 和 查 询 处 理OLAP是 面 向 市 场 的 ,用 于 数 据 分 析n 数 据 内 容 :OLTP系 统 管 理 当 前 数 据 .OLAP系 统 管 理 大 量 历 史 数 据 ,提 供 汇 总 和聚 集 机 制 .n 是 多 操 作 数 据 库 系 统 中 分 离 出 来 的用 以 提 高 两 个 系 统 的 性 能 数 据 仓 库 原 理 与 实 现 技 术 -元 数 据 管 理n 技 术 现 状n OMG 组 织 的 CWM 标 准 (Common Warehouse Metamodel) 一 个 特 定 于 数 据 仓 库 领 域 的 元 数 据 模 型 集 ， 它 独立 于 具 体 数 据 仓 库 的 实 现 ， 包 含 了 各 类 有 代 表 性的 数 据 仓 库 元 数 据 的 有 效 描 述 。 已 被 IBM、UNISYS、 NCR、 Hyperion 、 Oracle 等 多 家 公 司支 持 。n 较 成 熟 的 元 数 据 管 理 解 决 方 案 Microsoft 的 Meta Data Service Sybase 的 WCC 数 据 仓 库 原 理 与 实 现 技 术 -元 数 据 管 理 数 据 仓 库 原 理 与 实 现 技 术 -元 数 据 管 理n 元 数 据 业 务 流 程 图解 析 XML文 件XMl 文 件 XML解 析 器 元 数 据 对 象 容 器创 建 元 数 据 对 象数 据 库 或 文 本 加 载 成 员 信 息 数 据 仓 库 原 理 与 实 现 技 术 -元 数 据 管 理数 据 仓 库 并 没 有 严 格 的 数 学 理 论 基 础 ， 也 没有 成 熟 的 基 本 模 式 ， 具 有 强 烈 的 工 程 性 。从 工 作 过 程 等 方 面 来 分 析 ， 其 关 键 技 术 :数 据 的 抽 取存 储 与 管 理数 据 的 表 现 数 据 仓 库 基 础 知 识 所 研 究 主 要 问 题n 数 据 的 抽 取 数 据 进 入 仓 库 的 入 口 。通 过 抽 取 过 程 将 数 据 从 联 机 事 务 处 理 系 统 、 外 部数 据 源 、 脱 机 的 数 据 存 储 介 质 中 导 入 到 数 据仓 库 。数 据 抽 取 在 技 术 上 主 要 涉 及 互 连 、 复 制 、 增 量 、转 换 、 调 度 和 监 控 等 方 面 。 防 止 ” Garbage In Garbage Out” 数 据 仓 库 基 础 知 识 所 研 究 主 要 问 题n 数 据 的 存 储 和 管 理数 据 仓 库 的 组 织 管 理 方 式 决 定 了 它 有 别 于传 统 数 据 库 ， 同 时 也 决 定 了 其 对 外 部 数据 的 表 现 形 式 。 要 决 定 采 用 什 么 产 品 和技 术 来 建 立 数 据 仓 库 的 核 心 ， 则 需 要 从数 据 仓 库 的 技 术 特 点 着 手 分 析 。 数 据 仓 库 基 础 知 识 所 研 究 主 要 问 题n 数 据 表 现 -数 据 仓 库 的 门 面主 要 集 中 在 多 维 分 析 、 数 理 统 计 和 数 据 挖 掘方 面 。多 维 分 析 又 是 数 据 仓 库 的 重 要 表 现 形 式 ， 近几 年 来 由 于 互 联 网 的 发 展 ， 使 得 多 维 分 析领 域 的 工 具 和 产 品 更 加 注 重 提 供 基 于 Web前 端 联 机 分 析 界 面 ， 而 不 仅 仅 是 在 网 上 发布 数 据 。 数 据 仓 库 基 础 知 识 数 据 仓 库 系 统 的 体 系 结 构 数 据 仓 库 基 础 知 识 数 据 仓 库 系 统 的 体 系 结 构n 数 据 源 数 据 仓 库 系 统 的 基 础 ， 是 整 个系 统 的 数 据 源 泉 。 通 常 包 括 企 业 内 部 信 息和 外 部 信 息 。 内 部 信 息 包 括 各 种 业 务 处 理 数 据 和 各类 文 档 数 据 。 外 部 信 息 包 括 各 类 法 律 法 规 、市 场 信 息 和 竞 争 对 手 的 信 息 等 等 。 数 据 仓 库 基 础 知 识 数 据 仓 库 系 统 的 体 系 结 构n 数 据 存 储 与 管 理数 据 仓 库 的 组 织 管 理 方 式要 决 定 采 用 什 么 产 品 和 技 术 来 建 立 数 据 仓 库 的 核心 ， 则 需 要 从 数 据 仓 库 的 技 术 特 点 着 手 分 析 。针 对 现 有 各 业 务 系 统 的 数 据 ， 进 行 抽 取 、 清 理 ，并 有 效 集 成 ， 按 照 主 题 进 行 组 织 。 数 据 仓 库 按照 数 据 的 覆 盖 范 围 可 以 分 为 企 业 级 数 据 仓 库 和部 门 级 数 据 仓 库 （ 通 常 称 为 数 据 集 市 ） 。虚 拟 数 据 仓 库 一 种 特 殊 存 储 的 数 据 仓 库 数 据 仓 库 基 础 知 识 数 据 仓 库 系 统 的 体 系 结 构n OLAP服 务 器对 分 析 需 要 的 数 据 进 行 有 效 集 成 ， 按 多 维 模型 予 以 组 织 ， 以 便 进 行 多 角 度 、 多 层 次 的分 析 ， 并 发 现 趋 势 。 聚 合 数 据 存 放 于 多 维 数 据 库 中 。 数 据 仓 库 基 础 知 识 数 据 仓 库 系 统 的 体 系 结 构n 前 端 工 具包 括 各 种 报 表 工 具 、 查 询 工 具 、 数 据 分 析 工具 、 数 据 挖 掘 工 具 以 及 各 种 基 于 数 据 仓 库或 数 据 集 市 的 应 用 开 发 工 具 。 其 中 数 据 分 析 工 具 主 要 针 对 OLAP服 务 器报 表 工 具 、 数 据 挖 掘 工 具 主 要 针 对 数 据 仓 库 。 数 据 仓 库 基 础 知 识 一 个 实 例n 采 购 子 系 统 : 订 单 （ 订 单 号 ， 供 应 商 号 ， 商 品 号 ， 类 别 ， 单 价 。 数 量 ， 总 金 额 ，日 期 ， ） 供 应 商 （ 供 应 商 号 ， 供 应 商 名 ， 地 址 ， 电 话 ， ）n 销 售 子 系 统 ： 客 户 （ 客 户 号 ， 姓 名 ， 地 址 ， 电 话 ， ） 销 售 （ 客 户 号 ， 商 品 号 ， 数 量 ， 单 价 ， 日 期 ， ） n 库 存 子 系 统 ： 进 库 单 （ 编 号 ， 商 品 号 ， 数 量 ， 单 价 ， 日 期 ， ） 出 库 单 （ 编 号 ， 商 品 号 ， 数 量 ， 单 价 ， 日 期 ， ） 库 存 （ 商 品 号 ， 库 房 号 ， 类 别 ， 单 价 ， 库 存 数 量 ，总 金 额 ， 日 期 ， ） 商 品 固 有 信 息 ： 商 品 号 ， 类 别 ， 单 价 ， 颜 色 ， 商 品 采 购 信 息 ： 商 品 号 ， 类 别 ， 供 应 商 号 ， 供 应日 期 ， 单 价 ， 数 量 ， 商 品 销 售 信 息 ： 商 品 号 ， 客 户 号 ， 数 量 ， 单 价 ，销 售 日 期 ， 商 品 库 存 信 息 ： 商 品 号 ， 库 房 号 ， 库 存 数 量 ， 日期 ， ）商 品 主 题 域 ：采 购 子 系 统 销 售 子 系 统 库 存 子 系 统 3、 数 据 仓 库 中 的 数 据 组 织 数 据 仓 库 中 的 数 据 分 为 四 个 级 别 ： 早 期 细 节 级 ， 当前 细 节 级 ， 轻 度 综 合 级 ， 高 度 综 合 级 。 19851998年销 售 明 细 表19982003年销 售 明 细 表19982003年每 月 销 售 表19982003年每 季 度 销 售 表 数 据 仓 库 与 数 据 挖 掘n 数 据 仓 库 基 础 知 识n OLAP分 析 与 多 维 数 据 模 型n 数 据 仓 库 实 施 过 程n 数 据 仓 库 与 ETL原 理 多 维 数 据 模 型 与 OLAP分 析 多 维 数 据 模 型n 数 据 仓 库 和 OLAP工 具 基 于 多 维 数 据 模型 ,该 模 型 将 数 据 看 作 数 据 立 方 体 形 式n 数 据 立 方 体 允 许 以 多 维 对 数 据 建 模 和 观察 . 多 维 数 据 模 型 与 OLAP分 析 多 维 数 据 模 型n 基 本 概 念 维 ： 人 们 观 察 数 据 的 特 定 角 度 。 维 的 层 次 ： 人 们 观 察 数 据 的 特 定 角 度 可能 存 在 细 节 程 度 不 同 的 多 个 描 述 方 面 ，我 们 称 其 为 维 的 层 次 。多 维 分 析 的 基 本 动 作 切 片 ， 旋 转 ， 上 卷 ， 下 钻 （ OLAP中使 用 ） l Sales volume as a function of product, month, and regionProductRegion Month Dimensions: Product, Location, TimeHierarchical summarization pathsIndustry Region YearCategory Country QuarterProduct City Month Week Office Day Total annual salesof TV in U.S.A.DateProduct Countrysum sum TVVCRPC 1Qtr 2Qtr 3Qtr 4Qtr U.S.ACanadaMexicosum 产 品 销 售 情 况 某 年 某 月 产品 销 售 情 况选 定 两 个 维 ： 产 品 维 和 地 区 维时 间 维 数 据 切 片产品维 地 区 维 产品维 地 区 维 多 维 数 据 模 型 与 OLAP分 析 多 维 数 据 模 型n 基 于 RDBMS的 数 据 仓 库 实 现n 关 系 数 据 库 将 多 维 数 据 库 中 的 多 维 结 构 分 为 两 类 ：一 类 是 事 实 表 ， 用 来 存 储 事 实 的 度 量 值 以 及 各 个维 的 码 值 ； 另 一 类 是 维 表 。n 数 据 仓 库 的 设 计 模 型 有 ： 星 型 模 式 ， 雪 花 模 式 ，混 合 模 式 n 数 据 仓 库 的 设 计 也 可 以 理 解 为 面 向 OLAP的 数 据库 设 计 。 多 维 数 据 模 型 与 OLAP分 析 多 维 数 据 模 型星 型 ,雪 花 和 事 实 星 座 模 式 是 主 要 的 存 在 形式n 星 型 模 式 包 含 一 个 大 的 包 含 大 批 数 据 的事 实 表 和 一 系 列 维 表 .n 雪 花 模 式 是 星 型 模 式 的 变 种 ,不 同 的 是 将某 些 维 表 规 范 化 .n 事 实 星 座 模 式 对 应 多 个 事 实 表 共 享 维 表 . 在 星 型 模 式 中 ， 主 要 数 据 存 储 在 事 实 表 中 ， 没 有冗 余 ， 并 符 合 3NF或 BCNF。 维 值 信 息 存 储 在 维 表 中 。 维 表 不 需 要 规 范 化 。 主要 原 因 是 维 表 是 静 态 的 ， 不 关 心 更 新 异 常ProductsPid pname category price LocationsLocid city state countryPid timeid locid salesTimeid date month quarter year holiday_flagTimesSales 定 单 号销 售 员 号客 户 号产 品 号日 期 标 识地 区 名 称数 量总 价定 单 号定 货 日 期客 户 号客 户 名 称客 户 地 址销 售 员 号姓 名城 市 产 品 号产 品 名 称单 价日 期 标 识日月年地 区 名 称省事 实 表星 型 模 式 定 单 号销 售 员 号客 户 号产 品 号日 期 标 识地 区 名 称数 量总 价定 单 号定 货 日 期客 户 号客 户 名 称客 户 地 址销 售 员 号姓 名城 市 产 品 号产 品 名 称单 价日 期 标 识日月年地 区 名 称省事 实 表雪 花 模 式 产 品 号公 司 代 码 公 司 代 码公 司 名 称地 址 什 么 是 OLAP？n 定 义 1 ： 针 对 特 定 问 题 的 联 机 数 据 访 问 和 分 析 。 通 过 对 信息 (维 数 据 ) 多 种 可 能 的 观 察 形 式 进 行 快 速 、 稳 定 一 致 和 交互 性 的 存 取 ， 允 许 管 理 决 策 人 员 对 数 据 进 行 深 入 观 察 。n 定 义 2 ： 使 分 析 人 员 、 管 理 人 员 或 执 行 人 员 能 够 从 多 种 角度 对 从 原 始 数 据 中 转 化 出 来 的 、 能 够 真 正 为 用 户 所 理 解 的 、并 真 实 反 映 企 业 维 特 性 的 信 息 进 行 快 速 、 一 致 、 交 互 地 存取 ， 从 而 获 得 对 数 据 的 更 深 入 了 解 的 一 类 软 件 技 术 。(OLAP委 员 会 的 定 义 )n OLAP的 目 标 是 满 足 决 策 支 持 或 多 维 环 境 特 定 的 查 询 和 报表 需 求 ， 它 的 技 术 核 心 是 “ 维 ” 这 个 概 念 ， 因 此 OLAP也可 以 说 是 多 维 数 据 分 析 工 具 的 集 合 。多 维 数 据 模 型 与 OLAP分 析 OLAP分 析 多 维 数 据 模 型 与 OLAP分 析 OLAP分 析n OLAP服 务 器 类 型关 系 OLAP模 型 (ROLAP),使 用 关 系 或 扩 充 关 系DBMS存 放 并 管 理 数 据 仓 库多 维 OLAP服 务 器 (MOLAP),这 些 服 务 器 通 过 基 于数 组 的 多 维 存 储 ,支 持 数 组 的 多 维 视 图混 合 服 务 器 OLAP(HOLAP),结 合 ROLAP和MOLAP技 术 ,得 宜 于 ROLAP的 可 伸 缩 性 ,和MOLAP的 快 速 计 算 . OLAP多 维 数 据 分 析n 1.切 片 和 切 块 (Slice and Dice)n 在 多 维 数 据 结 构 中 ,按 二 维 进 行 切 片 ,按 三 维 进 行切 块 ,可 得 到 所 需 要 的 数 据 。 如 在 “ 城 市 、 产 品 、时 间 ” 三 维 立 方 体 中 进 行 切 块 和 切 片 ,可 得 到 各 城市 、 各 产 品 的 销 售 情 况 。n 2.钻 取 (Drill) n 钻 取 包 含 向 下 钻 取 (Drill-down)和 向 上 钻 取(Drill-up)/上 卷 (Roll-up)操 作 ， 钻 取 的 深 度 与维 所 划 分 的 层 次 相 对 应 。 n 3.旋 转 (Rotate)/转 轴 (Pivot) n 通 过 旋 转 可 以 得 到 不 同 视 角 的 数 据 。 OLAP的 分 析 方 法 (一 )切 片 (slicing)、 切 块 (dicing) OLAP的 分 析 方 法 (二 )钻 取 (drill-down)按时间维向下钻 取 按时间维向上钻取60 OLAP的 分 析 方 法 (三 )旋 转 n 回 答 的 问 题 ：2001年 第 三 季 度 ， 整 个 英 格 兰 的 总 收 入 是 多 少 ？2000年 英 国 每 一 类 房 产 销 售 的 总 收 入 是 多 少 ？2001年 租 借 房 产 业 务 中 每 个 城 市 哪 个 地 域 最 受 欢 迎 ？ 与过 去 的 两 年 相 比 有 何 不 同 ？每 个 分 支 机 构 本 月 的 房 产 销 售 月 收 入 是 多 少 ， 并 与 刚 过 去的 12个 月 相 比 较 。如 果 对 于 10万 英 镑 以 上 的 房 产 ， 法 定 价 格 上 升 3.5%而 政 府 税收 下 降 1.5%， 对 英 国 不 同 区 域 的 销 售 会 产 生 什 么 影 响 ？在 英 国 主 要 城 市 中 ， 哪 种 类 型 的 房 产 销 售 价 格 高 于 平 均 房产 销 售 价 格 ？ 这 与 人 口 统 计 数 据 有 何 联 系 ？ 数 据 仓 库 与 数 据 挖 掘n 数 据 仓 库 基 础 知 识n OLAP分 析 与 多 维 数 据 模 型n 数 据 仓 库 实 施 过 程n 数 据 仓 库 与 ETL原 理 数 据 仓 库 实 施 过 程 设 计 步 骤n 常 采 用 原 型 法 的 思 想 来 进 行 数 据 仓 库 的 开 发 ； 但 是 数 据 仓库 的 设 计 开 发 又 不 同 于 一 般 意 义 上 的 原 型 法 ， 数 据 仓 库 的设 计 是 数 据 驱 动 的 。n 数 据 仓 库 设 计 步 骤 6.数 据 仓 库 运 行 与 维 护分 析 主 题 域 ， 针 对 每 一 个 选 定 的 实 施 的 主 题 域 3.逻 辑 模 型 设 计 4.物 理 模 型 设 计粒 度 层 次 划 分数 据 分 割 策 略记 录 系 统 定 义关 系 模 式 定 义 确 定 存 储 结 构确 定 索 引 结 构确 定 存 放 位 置确 定 存 储 分 配1.概 念 模 型 设 计界 定 系 统 边 界确 定 主 题 域2.技 术 准 备 工 作技 术 环 境 准 备技 术 评 估 5.数据仓库生成 设计接口 数据装入 数 据 仓 库 设 计 步 骤1. 概 念 模 型 设 计n 界 定 系 统 边 界n 确 定 主 要 的 主 题 域 2. 技 术 准 备 工 作n 技 术 评 估n 环 境 的 准 备 3. 逻 辑 模 型 设 计 n 确 定 要 装 载 的 主 题n 确 定 粒 度 层 次 划 分n 确 定 数 据 分 割 策 略n 确 定 关 系 模 式 定 义n 确 定 记 录 系 统 定 义 数 据 仓 库 设 计 步 骤4. 物 理 模 型 设 计n 确 定 数 据 的 存 储 结 构n 确 定 数 据 的 索 引 策 略n 确 定 数 据 的 数 据 存 放 位 置n 确 定 数 据 的 存 储 分 配 5. 数 据 仓 库 生 成 n 设 计 接 口n 将 数 据 装 入 6. 数 据 仓 库 运 行 与 维 护n 开 发 决 策 支 持 系 统 DSS的 应 用n 进 一 步 理 解 需 求 ， 调 整 和 完 善 数 据 仓 库 系 统 ， 维 护 数 据仓 库 数 据 仓 库 的 实 施 数 据 仓 库 建 立 的 基 本 框 架 项 目 计 划 n 项 目 计 划 是 指 定 义 创 建 数 据 仓 库 的 项 目 目 标 和确 定 项 目 范 围 ， 包 括 对 项 目 计 划 的 评 估 和 流 程的 调 整 。 n 确 定 范 围 的 主 要 任 务 包 括 1、 了 解 方 向 性 分 析 处 理 需 求 2、 确 定 信 息 需 求 3、 确 定 数 据 覆 盖 范 围 。 方 向 性 需 求 包 括 ： 决 策 类 型 、 决 策 者 感 兴趣 的 问 题 （ 或 对 象 ） 等 。 业 务 需 求 分 析 n 深 入 了 解 数 据 源n 分 析 数 据 仓 库 系 统 所 包 含 的 主 题 域 及 其 相互 之 间 的 关 系 业 务 需 求 分 析 是 数 据 仓 库 中 一 个 很 重 要 的 阶 段 ，好 的 业 务 需 求 分 析 会 使 项 目 成 功 的 机 率 大 大 增 加 。 数 据 线 数 据 线 的 实 施 可 以 分 为 模 型 设 计 、 物 理 设 计 、数 据 预 处 理 三 个 步 骤 ， 用 以 满 足 对 数 据 的 有 效 组织 和 管 理 。 数 据 线 -模 型 设 计n 确 定 数 据 仓 库 系 统 将 来 的 蓝 图 。n 模 型 设 计 主 要 包 括 四 个 基 本 步 骤 ： 确 定合 适 的 主 题 、 划 分 粒 度 层 次 、 设 计 维 表和 设 计 事 实 表 。n 数 据 仓 库 的 逻 辑 设 计 一 般 采 用 星 型 模 型和 雪 花 模 型 设 计 其 数 据 模 型 。 包 括 选 择合 适 的 主 题 ， 确 定 事 实 表 、 相 关 的 维 、属 性 和 粒 度 划 分 ， 设 计 正 确 的 表 结 构 和主 键 、 外 键 关 系 等 。 数 据 线 -模 型 设 计ER图 数 据 线 -模 型 设 计n ER图 中 所 示 的 数 据 模 型 中 有 四 个 相 互 关 联 的简 单 实 体 。 如 果 数 据 库 设 计 只 需 要 考 虑 数 据模 型 的 话 ， 可 以 推 断 所 有 的 实 体 都 是 平 等 关系 。 换 言 之 ， 从 数 据 模 型 的 设 计 角 度 来 看 ，所 有 的 实 体 之 间 的 关 系 是 对 等 的 。n 仅 仅 从 数 据 模 型 的 角 度 来 着 手 设 计 数 据 仓 库会 产 生 一 种 “ 平 面 ” 效 应 。 实 际 上 ， 由 于 种种 原 因 ， 数 据 仓 库 的 实 体 绝 不 会 是 相 互 对 等的 。 一 些 实 体 ， 要 求 有 它 们 自 己 的 特 别 处 理 。 数 据 线 -模 型 设 计首 先 确 立 主 题 ， 订 单 是 有 大 量 数 据 的 重 要 主 题 ，那 么 “ 订 单 ” 位 于 星 型 连 接 的 中 央 。n 在 其 周 围 分 别 是 “ 产 品 ” 、 “ 客 户 ” 、 “ 供 应商 ” 和 “ 发 货 ” 实 体 。 这 些 实 体 仅 仅 会 产 生 不大 的 数 据 量 。n 星 型 连 接 中 央 的 “ 订 单 ” 被 称 作 是 “ 事 实 表 ” ，而 其 周 围 的 其 他 实 体 “ 产 品 ” 、 “ 客 户 ” 、“ 供 应 商 ” 和 “ 发 货 ” 则 被 称 为 “ 维 表 ” 。n 事 实 表 包 含 了 “ 订 单 ” 独 有 的 标 识 数 据 ， 也 包含 了 订 单 本 身 的 独 有 数 据 。 事 实 表 还 包 含 了 指向 其 周 围 的 表 维 表 的 外 键 。 数 据 线 -模 型 设 计 数 据 线 -物 理 设 计n 定 义 支 持 模 型 设 计 必 需 的 物 理 结 构 。 其过 程 包 括 以 下 三 个 方 面 ：n 1） 确 定 物 理 存 储 结 构 ；n 2） 确 定 索 引 策 略 ；n 3） 确 定 存 储 分 配 。 数 据 线 -数 据 处 理n （ 1） 数 据 预 处 理 。 （ 抽 取 、 转 换 、 加 载 ）数 据 的 质 量 问 题n 很 多 工 具 可 帮 助 用 户 完 成 数 据 抽 取 、 转 换 和 装 载 工 作n 根 据 元 数 据 库 中 的 主 题 表 定 义 、 数 据 源 定 义 、 数 据 抽取 规 则 定 义 对 异 地 异 构 数 据 源 进 行 清 理 、 转 换 ， 对 数据 进 行 重 新 组 织 和 加 工 ， 装 载 到 数 据 仓 库 的 目 标 库 中 。n 在 组 织 不 同 来 源 的 数 据 过 程 中 ， 先 将 数 据 转 换 成 一 种中 间 模 式 ， 再 把 它 移 至 临 时 工 作 区 。 加 工 数 据 是 保 证目 标 数 据 库 中 数 据 的 完 整 性 、 一 致 性 。 数 据 线 -数 据 处 理n （ 2） 数 据 维 护 数 据 仓 库 规 模 一 般 都 很 大 ， 从 建 立 之 初 就 要保 证 它 的 可 管 理 性 ， 一 个 企 业 可 能 建 立 几 个数 据 仓 库 或 数 据 集 市 ， 但 他 们 可 共 用 一 个 元数 据 库 对 其 进 行 管 理 。1. 从 元 数 据 库 查 询 所 需 元 数 据2. 进 行 数 据 仓 库 更 新 作 业3. 将 更 新 情 况 记 录 于 元 数 据 库 中4. 当 数 据 源 的 运 行 环 境 、 结 构 及 目 标 数 据 的 维护 计 划 发 生 变 化 时 ， 修 改 元 数 据 。 元 数 据 是 数 据 仓 库 的 重 要 组 成 部 分 ， 元 数 据 的质 量 决 定 整 个 数 据 仓 库 的 质 量 。 技 术 线 n 技 术 选 择 和 产 品 选 择 在 数 据 仓 库 建 立 的 过 程 中 会 遇 到 一 些 新 的 特 定 的问 题 ， 如 管 理 大 量 数 据 的 需 求 ， 如 何 对 数 据 进 行 快 速和 方 便 的 访 问 等 。 为 解 决 这 些 问 题 人 们 采 用 了 新 的 技术 、 新 的 产 品 。 技 术 体 系 选 择 必 须 从 为 这 些 技 术 建 立 全 局 的 结 构框 架 和 视 角 出 发 ， 选 择 中 需 要 同 时 考 虑 三 个 因 素 ： 商业 需 求 、 当 前 的 技 术 环 境 、 计 划 的 策 略 技 术 方 向 。 应 用 线 n 应 用 设 计 设 计 标 准 的 用 户 应 用 模 板 ， 包 括 ： 确 定 初始 的 模 板 集 、 设 计 模 板 的 标 准 、 设 计 详 细 模板 、 通 过 用 户 反 馈 进 行 改 进 。 n 应 用 开 发 通 过 应 用 设 计 说 明 书 ， 按 照 标 准 的 软 件 开发 流 程 ， 实 现 用 户 应 用 模 板 的 设 计 。 一 般 过程 是 ： 选 择 实 现 的 方 法 ， 然 后 进 行 模 板 的 实现 、 测 试 和 数 据 验 证 ， 应 用 模 板 的 维 护 。 系 统 运 行 维 护n 数 据 仓 库 建 成 后 就 进 入 运 行 维 护 ， 在 运 行 中要 不 断 验 证 评 价 分 析 设 计 是 否 符 合 用 户 需 求 ，产 生 出 新 的 分 析 要 求 及 时 反 馈 回 需 求 分 析 ，进 行 系 统 设 计 的 改 进 。n 运 行 维 护 分 为 目 标 数 据 维 护 和 元 数 据 维 护 两方 面 。 目 标 数 据 维 护 是 根 据 元 数 据 库 所 定 义的 更 新 频 率 、 更 新 数 据 项 等 更 新 计 划 任 务 来刷 新 数 据 仓 库 ， 以 反 映 数 据 源 的 变 化 ， 且 对时 间 相 关 性 进 行 处 理 。 数 据 仓 库 实 施 小 结n 数 据 仓 库 的 实 施 包 含 数 据 、 技 术 、 应 用 三 方 面 的 要 求 。n 数 据 仓 库 系 统 的 设 计 是 一 个 动 态 反 馈 和 循 环 的 过 程 。n 数 据 仓 库 的 建 立 是 运 用 一 套 有 效 的 数 据 仓 库 建 立 方 法不 断 反 复 循 环 的 过 程 。