数据仓库实施步骤与关键成功因素PPT课件

3/16/20021一、数据仓库实施方法论?规划解决方案支持数据仓库管理(处理流程与操作)物理数据库设计数据转换应用开发数据挖掘服务设计与实现支持与增强解决方案体系结构设计元数据管理数据仓库评估应用增强逻辑数据模型回顾物理数据库回顾性能调整容量规划解决方案集成定制解决方案规划详细数据分析解决方案准备就绪解决方案实施建议现成解决方案规划数据仓库策略开发业务探索业务探索解决方案定义逻辑数据模型设计修改逻辑数据模型验证解决方案数据仓库的循环过程第1页/共28页3/16/20022数据仓库管理物理数据模型数据转换应用开发数据挖掘服务系统体系结构设计元数据管理解决方案集成项目具体实施步骤项目前期准备业务探索信息探索逻辑数据模型二、项目具体实施步骤1. 项目前期准备2. 业务探索（Business Discovery)3. 信息探索（Information Discovery)4. 逻辑数据模型设计5. 系统体系结构设计6. 物理数据库设计7. 数据转换加载ETL8. 前端应用开发9. 数据挖掘服务10.元数据管理11.数据仓库管理（处理流程与操作）12.解决方案集成（测试验收与试运行）第2页/共28页3/16/200232.1 项目前期准备主要任务： 项目启动会议(Kick-off Meeting) 确认项目范围和主要目标 确认项目阶段性验收及总体验收标准 确认项目实施计划 成立项目组 确定各项目小组的成员及各自的工作职责 确定各项目小组的阶段性工作目标 确定教育训练计划 确定服务流程及方式 交付项目：项目组织机构项目人员组成 项目前期准备业务探索信息探索逻辑数据模型第3页/共28页3/16/200242.2 业务探索（Business Discovery)主要任务： 确定重点用户与数据源 用户需求调研与确认 数据源确认 用户需求和数据源的筛选和分析 交付项目：业务需求说明书BRL ( Business Requirement List )概念数据模型CDM （ Conceptual Data Model ) 项目前期准备业务探索信息探索逻辑数据模型第4页/共28页3/16/200252.3 信息探索（Information Discovery)主要任务： 分析用户需求 数据源分析 进行工具评估 系统安全性设计 系统命名规范设计交付项目：功能需求列表FRL ( Function Requirement List )系统安全性设计说明书 系统命名规范说明书数据质量分析项目前期准备业务探索信息探索逻辑数据模型第5页/共28页3/16/200262.4 逻辑数据模型设计主要任务： 进行原始数据分析 建立实体模型 建立实体间依赖关系 完善并填入所有属性 建立数据库逻辑模型 利用工具： ERWin交付项目： 数据仓库逻辑数据模型LDM逻辑数据模型说明书项目前期准备业务探索信息探索逻辑数据模型第6页/共28页3/16/200272.4 逻辑数据模型概念逻辑数据模型是用来发现、记录和沟通业务的详细“蓝图”基于概念数据模型（CDM）由一系列表和实体详细描述组成通用的业务语言便于业务与业务之间的功能理解集成当前和未来数据的蓝图独立于技术为物理数据库设计作准备是IT人员和业务人员沟通的工具发现属性发现关系发现实体1. 业务规则2. ER图3. ERA建模第7页/共28页3/16/200282.4 逻辑数据模型(LDM)示例第8页/共28页3/16/200292.5 系统体系结构设计主要任务：1. 对业务、技术环境及企业文化的充分了解，从技术、组织、教育和支持等方面对系统进行全面评估2. 定义业务驱动力3. 定义数据仓库成功的关键因素4. 定义数据仓库的实施原则5. 对系统体系结构各个组件进行详细设计交付项目：系统体系结构设计说明书数据仓库管理物理数据模型数据转换应用开发数据挖掘服务系统体系结构设计元数据管理解决方案集成第9页/共28页3/16/2002102.5 体系结构设计组件用户类型拓扑结构网络存取与互连组织机构安全性数据体系结构-逻辑数据模型-元数据-数据质量-命名规范数据采集与转换用户存取及工具备份系统操作管理第10页/共28页3/16/200211主要任务：主要任务： 转换逻辑数据模型（LDM）为物理数据模型 定义主索引、次索引 非正则化处理（denormalizations） 数据库建立 设计优化 数据库功能测试使用工具：使用工具： ERWwin交付项目：交付项目： 物理数据模型（LDM）物理数据模型说明书数据库描述语言DDL2.6 物理数据库设计建模方法： 第三范式 3NF 星型结构 雪花状结构数据仓库管理物理数据模型数据转换应用开发数据挖掘服务系统体系结构设计元数据管理解决方案集成第11页/共28页3/16/200212概念数据模型（ CDM Conceptual Data Model ） 主要实体和它们的关系 （Major Entities and Their Relationships）逻辑数据模型 （ LDM - Logical Data Model ） 业务模型加（CDM Plus） : 所有的表及简单的数据（All Tables with Sample Data） 辅助的表及简单的数据（ Minor Tables with Sample Data ） 主键与外键的关系（ PK & FK Relationships ） 数据约束（ Constraints ） 属性（ Attributes ）扩展逻辑数据模型 （ELDM - Extended Logical Data Model ） 逻辑数据模型加（LDM Plus） : 存取详细描述（Access Demographics） 数据详细描述（Data Demographics）物理数据模型 （ PDM - Physical Data Model ） 扩张逻辑数据模型（ELDM Plus）: 索引 （Indices） 非正则化 （Denormalization）2.6 数据模型的演变第12页/共28页3/16/200213非正则化的两种类型：v 物理非正则化 派生数据 （Derived Data） 汇总表 （Summary Tables） 重复的Groups ( Repeating Groups) 多物理表 （Multiple Physical Tables） 预连接 （Pre-joins） 子实体 （Sub-entities）v 逻辑非正则化 视图 （Views） 逻辑星型结构 （Logical Star Schemas）F 物理非正则化对模型的灵活性会有影响F 逻辑非正则化是一个优选的方法（OLAP实现）2.6 非正则化处理 ( Denormalization )第13页/共28页3/16/2002142.6 物理数据模型（PDM）第14页/共28页3/16/2002152.7 数据转换与加载（ETL）主要任务：数据源及其特性定义数据析取、转换和加载策略设计构建和测试初始加载的程序和处理流程构建和测试日常加载的程序和处理流程40%的工作量在数据转换与加载上使用工具：Teradata Builder、C、Shell、Perl交付项目： 数据转换加载设计说明书 数据映射 （Data Mapping）说明书 数据转换加载脚本 （ ETL Scripts) 加载流程控制（ ETL Process Control)数据仓库管理物理数据模型数据转换应用开发数据挖掘服务系统体系结构设计元数据管理解决方案集成第15页/共28页3/16/2002162.7 数据清洗方法1) 在源系统上进行清洗（数据析取前）2) 在加载服务器上进行清洗（数据析取后、加载前）3) 在数据仓库里进行清洗（数据加载后）源系统ETL服务器数据仓库SQL, C, ShC, ShSQL第16页/共28页3/16/2002172.7 数据转换常用手段 析取 Extracting 条件 Conditioning 剔除 Scrubbing 合并 Merging 浓缩 Enrichment 确认 Validating 加载 Loading 评分 Scoring 家庭关系识别 Householding第17页/共28页3/16/2002182.8 前端应用开发主要任务：前端应用体系结构设计OLAP应用设计(Summary/Fact表及Cub的产生）前端应用开发（随机查询、预定义报表、 OLAP应用）撰写用户使用手册用户测试验收使用工具：查询报表工具OLAP工具（Brio,Cognos,MicroStrategy)基于Web的开发工具(InterDev,ColdFusion)其他开发工具,如: Portal交付项目： 前端应用体系结构设计说明书 应用模块设计说明书 用户使用手册 数据仓库管理物理数据模型数据转换应用开发数据挖掘服务系统体系结构设计元数据管理解决方案集成第18页/共28页3/16/2002192.9 数据挖掘服务2. 知识应用(Knowledge Deployment): 将发现的知识应用于某种目标，例如进行预测1. 知识发现 (Knowledge Discovery):发现将数据转变成信息的潜在模式数据知识信息决策与行动第19页/共28页3/16/2002202.9 数据挖掘方法项目管理知识转移业务理解 体系结构和技术准备数据理解和数据准备分析建模和模型评估知识应用Teradata DatabaseData Mining & OLAP AssistsTeraMinerDebt$40KSQL第20页/共28页3/16/2002212.9 数据挖掘常用算法及应用Debt$40KQQQQII123456factor 1factor 2factor n神经网络 Neural Networks聚类分析 ClusteringOpenAccntAdd NewProductDecreaseUsage?Time序列分析 Sequence Analysis决策树 Decision Trees 倾向性分析 客户保留 客户生命周期管理 目标市场 价格弹性分析 客户细分 市场细分 倾向性分析 客户保留 目标市场 欺诈检测关联分析 Association 市场组合分析 套装产品分析 目录设计 交叉销售第21页/共28页3/16/2002222.10 元数据管理元数据(Metadata) 是指关于数据的数据，即用来描述数据的类型、来源、定义、存储位置，使得业务用户可以正确地使用数据仓库。 主要任务：定义元数据使用功能设计元数据环境逻辑结构设计元数据环境物理结构选择合适的元数据管理工具建立元数据仓库（Metadata Repository)建立和测试元数据接口使用工具：Teradata Metadata Service交付项目： 元数据管理说明书数据仓库管理物理数据模型数据转换应用开发数据挖掘服务系统体系结构设计元数据管理解决方案集成第22页/共28页3/16/200223元数据内容项目活动数据描述信息探索数据采集数据定义逻辑数据模型数据采集数据所有权数据源逻辑模型逻辑数据模型化业务规则逻辑数据模型.转换物理模型物理数据模型化历史时间维度物理数据模型化数据加载数据质量标准数据转换数据加载2.10 元数据开发元数据的开发应该包含在数据仓库实施过程的每一步骤中，下图是元数据各部分内容与数据仓库开发过程的对应关系： 第23页/共28页3/16/2002242.11 数据仓库管理主要任务：设计和开发数据仓库支持体系结构开发和测试数据仓库日常运作流程开发和测试性能监视程序开发和测试数据备份与恢复程序开发和测试安全系统设计和开发操作人员/最终用户培训计划建立用户支持和培训材料使用工具：系统监控工具和管理工具交付项目： 数据仓库管理过程说明书 数据备份过程设计说明书 安全管理模块设计说明书 用户培训计划及用户使用手册数据仓库管理物理数据模型数据转换应用开发数据挖掘服务系统体系结构设计元数据管理解决方案集成第24页/共28页3/16/2002252.12 解决方案集成(系统验收与试运行)主要任务：建立并执行集成测试计划建立并执行数据仓库平台测试计划建立并执行系统验收测试计划移植开发系统到生产系统执行用户培训计划实施数据仓库管理基础设施项目实施完成回顾项目状态交付项目： 数据转换管理系统测试报告 数据访问和信息发布系统测试报告 数据仓库平台测试报告 数据仓库管理过程测试报告 系统回顾报告数据仓库管理物理数据模型数据转换应用开发数据挖掘服务系统体系结构设计元数据管理解决方案集成第25页/共28页3/16/200226 Business Discovery (业务探索) 业务需求说明书(BRL) 概念数据模型(CDM)物理数据库设计 物理数据模型 (PDM) 数据库描述语言(DDL) 数据转换加载(ETL) 数据加载设计说明书 数据映射 （Data Mapping) 转换加载脚本 （ ETL Scripts) 加载流程控制（ ETL Control) 前端应用设计 前端应用体系结构 前端应用设计说明书 Summary / Fact 表设计 Summary / Fact 数据生成 OLAP设计 应用开发 应用集成总结：主要步骤及文档间关系数据仓库管理物理数据模型数据转换应用开发数据挖掘服务系统体系结构设计元数据管理解决方案集成项目具体实施步骤项目前期准备业务探索信息探索逻辑数据模型 Information Discovery(信息探索) 功能需求列表 (FRL) 逻辑数据模型(LDM) 逻辑模型设计说明书 源数据分析 (SDA) 系统体系结构设计 (SA) 系统命名规范设计 系统安全体系设计 (SD) 数据仓库管理元数据管理解决方案集成第26页/共28页3/16/200227三、项目关键成功因素v 需求明确v 业务用户参与v 高层领导支持 可扩展的软硬件平台 成功的行业经验第27页/共28页3/16/200228感谢您的观看！第28页/共28页