TD--数据仓库实施步骤与关键成功因素

3/16/2002,*,数据仓库实施步骤与关键成功因素,一、数据仓库实施方法论,?,规划,解决方案支持,数据仓库管理,(处理流程与操作),物理数据库,设计,数据转换,应用开发,数据挖掘,服务,设计与实现,支持与增强,解决方案体系结构设计,元数据管理,数据仓库评估,应用增强,逻辑数据,模型回顾,物理数据,库回顾,性能调整,容量规划,解决方案集成,定制解决方案规划,详,细,数,据,分,析,解决方案准备就绪,解决方案实施建议,现成解决方案规划,数,据,仓,库,策,略,开,发,业务,探索,业务,探索,解决,方案,定义,逻辑,数据,模型,设计,修改,逻辑数据,模型,验证,解决,方案,数据仓库的循环过程,3/16/2002,2,数据仓库管理,物理数据模型,数据转换,应用开发,数据挖掘,服务,系统体系结构设计,元数据管理,解决方案集成,项目具体实施步骤,项目前期准备,业务探索,信息探索,逻辑数据,模型,二、项目具体实施步骤,1. 项目前期准备,2. 业务探索,（,Business Discovery),3. 信息探索,（,Information Discovery),4. 逻辑数据模型设计,5. 系统体系结构设计,6. 物理数据库设计,7. 数据转换加载,ETL,8. 前端应用开发,9. 数据挖掘服务,10.元数据管理,11.数据仓库管理,（处理流程与操作）,12.解决方案集成,（测试验收与试运行）,3/16/2002,3,2.1 项目前期准备,主要任务：,项目启动会议,(,Kick-off Meeting),确认项目范围和主要目标, 确认项目阶段性验收及总体验收标准, 确认项目实施计划, 成立项目组, 确定各项目小组的成员及各自的工作职责, 确定各项目小组的阶段性工作目标, 确定教育训练计划, 确定服务流程及方式,交付项目：,项目组织机构,项目人员组成,项目前期准备,业务探索,信息探索,逻辑数据,模型,3/16/2002,4,2.2 业务探索,（,Business Discovery),主要任务：,确定重点用户与数据源,用户需求调研与确认, 数据源确认, 用户需求和数据源的筛选和分析,交付项目：,业务需求说明书,BRL ( Business Requirement List ),概念数据模型,CDM （ Conceptual Data Model ),项目前期准备,业务探索,信息探索,逻辑数据,模型,3/16/2002,5,2.3 信息探索,（,Information Discovery),主要任务：,分析用户需求,数据源分析, 进行工具评估, 系统安全性设计, 系统命名规范设计,交付项目：,功能需求列表,FRL ( Function Requirement List ),系统安全性设计说明书,系统命名规范说明书,数据质量分析,项目前期准备,业务探索,信息探索,逻辑数据,模型,3/16/2002,6,2.4 逻辑数据模型设计,主要任务：,进行原始数据分析,建立实体模型,建立实体间依赖关系,完善并填入所有属性, 建立数据库逻辑模型,利用工具：,ERWin,交付项目：,数据仓库逻辑数据模型,LDM,逻辑数据模型说明书,项目前期准备,业务探索,信息探索,逻辑数据,模型,3/16/2002,7,2.4 逻辑数据模型概念,逻辑数据模型是用来发现、记录和沟通业务的详细“蓝图”,基于概念数据模型（,CDM）,由一系列表和实体详细描述组成,通用的业务语言,便于业务与业务之间的功能理解,集成当前和未来数据的蓝图,独立于技术,为物理数据库设计作准备,是,IT,人员和业务人员沟通的工具,发现,属性,发现,关系,发现,实体,1. 业务规则,2. ER,图,3. ERA,建模,3/16/2002,8,2.4 逻辑数据模型(,LDM),示例,3/16/2002,9,2.5 系统体系结构设计,主要任务：,对业务、技术环境及企业文化的充分了解，从技术、组织、教育和支持等方面对系统进行全面评估,定义业务驱动力,定义数据仓库成功的关键因素,定义数据仓库的实施原则,对系统体系结构各个组件进行详细设计,交付项目：,系统体系结构设计说明书,数据仓库管理,物理数据,模型,数据转换,应用开发,数据挖掘,服务,系统体系结构设计,元数据管理,解决方案集成,3/16/2002,10,2.5 体系结构设计组件,用户类型,拓扑结构,网络存取与互连,组织机构,安全性,数据体系结构,逻辑数据模型,元数据,数据质量,命名规范,数据采集与转换,用户存取及工具,备份系统,操作管理,3/16/2002,11,主要任务：,转换逻辑数据模型（,LDM）,为物理数据模型,定义主索引、次索引,非正则化处理（,denormalizations,）,数据库建立,设计优化,数据库功能测试,使用工具：,ERWwin,交付项目：,物理数据模型（,LDM）,物理数据模型说明书,数据库描述语言,DDL,2.6 物理数据库设计,建模方法：,第三范式 3,NF,星型结构,雪花状结构,数据仓库管理,物理数据,模型,数据转换,应用开发,数据挖掘,服务,系统体系结构设计,元数据管理,解决方案集成,3/16/2002,12,概念数据模型,（,CDM,Conceptual Data Model ）,主要实体和它们的关系 （,Major Entities and Their Relationships）,逻辑数据模型,（,LDM - Logical Data Model ）,业务模型加（,CDM Plus）,:,所有的表及简单的数据（,All Tables with Sample Data）,辅助的表及简单的数据（,Minor Tables with Sample Data,）,主键与外键的关系（,PK & FK Relationships,）,数据约束（,Constraints,）,属性（,Attributes,）,扩展逻辑数据模型,（,ELDM - Extended Logical Data Model ）,逻辑数据模型加（,LDM Plus）,:,存取详细描述（,Access Demographics）,数据详细描述（,Data Demographics）,物理数据模型,（,PDM - Physical Data Model ）,扩张逻辑数据模型（,ELDM Plus）:,索引 （,Indices）,非正则化 （,Denormalization,）,2.6 数据模型的演变,3/16/2002,13,非正则化的两种类型：,物理非正则化,派生数据 （,Derived Data）,汇总表 （,Summary Tables）,重复的,Groups ( Repeating Groups),多物理表 （,Multiple Physical Tables）,预连接 （,Pre-joins）,子实体 （,Sub-entities）,逻辑非正则化,视图 （,Views）,逻辑星型结构 （,Logical Star Schemas）,物理非正则化对模型的灵活性会有影响,逻辑非正则化是一个优选的方法,（,OLAP,实现）,2.6 非正则化处理,(,Denormalization,),3/16/2002,14,2.6 物理数据模型（,PDM）,3/16/2002,15,2.7 数据转换与加载（,ETL）,主要任务：,数据源及其特性定义,数据析取、转换和加载策略设计,构建和测试,初始加载,的程序和处理流程,构建和测试,日常加载,的程序和处理流程,40%的工作量在数据转换与加载上,使用工具：,Teradata,Builder,、,C、Shell、,Perl,交付项目：, 数据转换加载设计说明书,数据映射 （,Data Mapping）,说明书 ,数据转换加载脚本 （,ETL Scripts),加载流程控制（,ETL Process Control),数据仓库管理,物理数据,模型,数据转换,应用开发,数据挖掘,服务,系统体系结构设计,元数据管理,解决方案集成,3/16/2002,16,2.7 数据清洗方法,在源系统上进行清洗（数据析取前）,在加载服务器上进行清洗（数据析取后、加载前）,在数据仓库里进行清洗（数据加载后）,源系统,ETL,服务器,数据仓库,SQL, C,Sh,C,Sh,SQL,3/16/2002,17,2.7 数据转换常用手段,析取,Extracting,条件,Conditioning,剔除,Scrubbing,合并,Merging,浓缩,Enrichment,确认,Validating,加载,Loading,评分,Scoring,家庭关系识别,Householding,3/16/2002,18,2.8 前端应用开发,主要任务：,前端应用体系结构设计,OLAP,应用设计,(,Summary,/Fact,表及,Cub,的产生）,前端应用开发（,随机查询、预定义报表、,OLAP,应用）,撰写用户使用手册,用户测试验收,使用工具：,查询报表工具,OLAP,工具（,Brio,Cognos,MicroStrategy,),基于,Web,的开发工具(,InterDev,ColdFusion,),其他开发工具,如,: Portal,交付项目：,前端应用体系结构设计说明书,应用模块设计说明书 ,用户使用手册 ,数据仓库管理,物理数据,模型,数据转换,应用开发,数据挖掘,服务,系统体系结构设计,元数据管理,解决方案集成,3/16/2002,19,2.9 数据挖掘服务,2.,知识应用,(,Knowledge Deployment),:,将发现的知识应用于某种目标，例如进行预测,1.,知识发现 (,Knowledge Discovery),:,发现将数据转变成信息的潜在模式,数据,知识,信息,决策,与行动,3/16/2002,20,2.9 数据挖掘方法,项目管理,知识转移,业务理解,体系结构,和,技术准备,数据理解,和,数据准备,分析建模,和,模型评估,知识应用,Data Mining Lab Analytic Services,Teradata,Database,Data Mining & OLAP Assists,TeraMiner,SQL,3/16/2002,21,2.9 数据挖掘常用算法及应用,Debt$40K,Q,Q,Q,Q,I,I,1,2,3,4,5,6,factor 1,factor 2,factor n,神经网络,Neural Networks,聚类分析,Clustering,Open,Accn,t,Add New,Product,Decrease,Usage,?,Time,序列分析,Sequence Analysis,决策树,Decision Trees,倾向性分析,客户保留,客户生命周期管理,目标市场,价格弹性分析,客户细分,市场细分,倾向性分析,客户保留,目标市场,欺诈检测,关联分析,Association,市场组合分析,套装产品分析,目录设计,交叉销售,3/16/2002,22,2.10 元数据管理,元数据(,Metadata),是指关于数据的数据,，即用来描述数据的类型、来源、定义、存储位置，使得业务用户可以正确地使用数据仓库。,主要任务：,定义元数据使用功能,设计元数据环境逻辑结构,设计元数据环境物理结构,选择合适的元数据管理工具,建立元数据仓库（,Metadata Repository),建立和测试元数据接口,使用工具：,Teradata Metadata Service,交付项目：, 元数据管理说明书,数据仓库管理,物理数据,模型,数据转换,应用开发,数据挖掘,服务,系统体系结构设计,元数据管理,解决方案集成,3/16/2002,23,2.10 元数据开发,元数据的开发应该包含在数据仓库实施过程的每一步骤中，下图是元数据各部分内容与数据仓库开发过程的对应关系：,3/16/2002,24,2.11 数据仓库管理,主要任务：,设计和开发数据仓库支持体系结构,开发和测试数据仓库日常运作流程,开发和测试性能监视程序,开发和测试数据备份与恢复程序,开发和测试安全系统,设计和开发操作人员/最终用户培训计划,建立用户支持和培训材料,使用工具：,系统监控工具和管理工具,交付项目：,数据仓库管理过程说明书,数据备份过程设计说明书,安全管理模块设计说明书,用户培训计划,及,用户使用手册,数据仓库管理,物理数据,模型,数据转换,应用开发,数据挖掘,服务,系统体系结构设计,元数据管理,解决方案集成,3/16/2002,25,2.12 解决方案集成,(系统验收与试运行),主要任务：,建立并执行集成测试计划,建立并执行数据仓库平台测试计划,建立并执行系统验收测试计划,移植开发系统到生产系统,执行用户培训计划,实施数据仓库管理基础设施,项目实施完成,回顾项目状态,交付项目：,数据转换管理系统测试报告,数据访问和信息发布系统测试报告,数据仓库平台测试报告,数据仓库管理过程测试报告,系统回顾报告,数据仓库管理,物理数据,模型,数据转换,应用开发,数据挖掘,服务,系统体系结构设计,元数据管理,解决方案集成,3/16/2002,26,Business Discovery (,业务探索),业务需求说明书(,BRL),概念数据模型(,CDM),物理数据库设计,物理数据模型 (,PDM),数据库描述语言(,DDL),数据转换加载(,ETL),数据加载设计说明书,数据映射 （,Data Mapping),转换加载脚本 （,ETL Scripts),加载流程控制（,ETL Control),前端应用设计,前端应用体系结构,前端应用设计说明书,Summary / Fact,表设计,Summary / Fact,数据生成,OLAP,设计,应用开发,应用集成,总结：主要步骤及文档间关系,数据仓库管理,物理数据,模型,数据转换,应用开发,数据挖掘,服务,系统体系结构设计,元数据管理,解决方案集成,项目具体实施步骤,项目前期准备,业务探索,信息探索,逻辑数据,模型,Information Discovery(,信息探索),功能需求列表 (,FRL),逻辑数据模型(,LDM),逻辑模型设计说明书,源数据分析 (,SDA),系统体系结构设计 (,SA),系统命名规范设计,系统安全体系设计 (,SD),数据仓库管理,元数据管理,解决方案集成,3/16/2002,27,三、项目关键成功因素,需求,明确,业务用户参与,高层领导支持,可扩展的软硬件平台,成功的行业经验,3/16/2002,28,