管理数据仓库的实施项目

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,*,*,成功地管理数据仓库的实施,如何成功地实施数据仓库项目,我们将从以下几个方面来看：,为什么许多的数据仓库项目会失败？,导致失败的因素是什么？,你如何才能成功地实施？,详细的实施步骤,常听到人们说:让我们建一个数据仓库吧,数据仓库将解决我们所有的决策支持的问题,建一个数据仓库不会花很长的时间,某个数据仓库的厂商说：我们只要买他们的一个“数据集市套件”就可以了，不需要很大的工作量,我们不必把它看成是一个实际的项目，毕竟它就是一些报表,我们只要把“所有”的数据都扔进一个数据库就行了,!,但是， 超过60%的数据仓库项目是失败的,为什么数据仓库项目有这么大的风险?,典型的一个情况，指派的员工，顾问咨询,和项目经理：,没有数据仓库经验,不懂数据仓库的方法和技术,不使用结构化的实施方法,“,快速原型开发”,只是当成另一个数据库!,失败的最主要原因是什么?,对要建立的数据仓库没有清晰的定义,如果你没有一个明确的，确定的目标要完成，你怎么能够成功呢,?,低估了实施,数据抽取和转换的时间/工作量即使考虑到，也是很不充分的,允许范围不断增加，超出了可以做到的范围,但是， 超过60%的数据仓库项目是失败的,失败的最主要原因是什么?,但是很可能, 导致失败的最主要原因是“用户”没有参与进来,没有与用户会面交谈或咨询用户,系统建设不是针对使用者的需求,闭门造车的方式建立系统,系统的建设不是针对解决任何特定的问题,但是， 超过60%的数据仓库项目是失败的,导致的结果:,以上种种最终导致精神上的崩溃,太多的工作,太少的时间,事情变化太快,不知道目的是什么,漫无目的地徘徊，这样领导项目很难跟随,但是， 超过60%的数据仓库项目是失败的,很有可能，项目/计划的管理者根本没有了解或考虑一些关键的方面：,哪些方面,但是， 超过60%的数据仓库项目是失败的,用户,谁是 “用户”?,他们需要一个数据仓库吗?,他们的需求到底是什么?,更快的报表?,新的报表?,他们什么时候需要一个系统?,他们愿意付钱或提供资金开发吗,?,哪些关键的方面?,哪些关键的方面?,功能,是要建一个 “报表服务器” 还是 “数据仓库”?,有 “即席（,AD-HOC）”,访问吗?,是否已有一些报表存在,?,新的系统将会替代现有的/遗留的系统吗,?,报表,有没有清楚地详细说明报表的定义,?,是已有的报表吗?,还是希望有的报表清单,?,列出的报表，是否有优先顺序,?,与所有用户就报表的定义和内容达成一致了吗,?,哪些关键的方面?,数据,需要什么数据?,数据从哪里来?,谁 “拥有” 数据?,你能访问到这些数据吗,?,有多少数据是必需的,是否有足够的带宽获得这些数据?,数据刷新/传递的需求是什么,?,哪些关键的方面?,谁也不能担保成功。但是通过以下的努力，你可以有最大的机会得到一个有用的系统：,以一种仔细地、有系统地和结构化的方式实施数据仓库,.,制定出一个计划,严格按计划执行,不要超越范围,不要超越需求,如何能够成功？,如何能够成功？,机会,不要匆忙实施,不要忘记,测试,质量保证,系统交付,用户和操作培训,而最重要的是:,所有的阶段都要求用户参与,如何能够成功？,最后, 数据仓库的实施要当作一个大的软件项目来考虑和管理。,以恰当的方式实施,也许这种恰当的实施方式会花更长的时间和更多的精力，但却能使你更有可能：,成功,交付一个有用的系统,提交你所承诺的,保住你的工作.,如何能够成功？,我应该做什么?,不要忘记，你的目标不是建一个“数据的仓库”,你的目标是要建成一个对你的“用户”有相当价值的系统,如果,“,用户”不喜欢这个系统，或者对他们来说系统太难用或太麻烦，那么,他们不会去用它,系统也就失败了,这个系统就会被拆除,你的职业生涯也会遭受挫折,我能做什么？,让我们来看一下你应该如何行动，才能使你成功的把握最大。,认识并了解 “用户”,进行彻底的需求分析,设计对数据的分析,制订项目计划,我能做什么？,确保充分的资源,人员,硬件/软件,时间,制订一个详细的计划,制定界面的规格说明文档，描述：,数据源,访问控制,数据的转换/修正,我能做什么？,实施过程中进行标准的质量保证检查,对等复审,单元测试,进行详细和完整的系统测试,制订系统版本发布的配置管理和质量保证程序,总结起来,理想的实施情况,:,收集需求,理解业务,设计模式,ETL,模板,构造分析查询,实现,测试,用户反馈,提炼,测试,资源,时间,详细的实施步骤,认识并了解用户,用户访谈,发现 “问题或捆绕”所在,收集现有报表的拷贝,索取报表清单（期望的新报表或修改报表）,建立原型/虚构的报表，让用户复审,尽可能多的了解用户日常的工作职责,决定你所要建立的是什么,企业级数据仓库?,即席查询服务器,?,常规的报表服务器,?,单独专注的数据集市,?,根据用户的需要做出你的决定,实施范围要限定在你能实际做到的范围内,!,详细的实施步骤,定义系统需求,基于用户的需要,正式的文档，准确地描述最终的系统所能完成的功能,与用户一起复审需求,即.,进行正式的系统需求复审,不要让范围扩大 瞄准最初的目标/规划,提交一个系统需求规格说明书,详细的实施步骤,定义系统需求,不要陷入需求的“分析怪圈,”,决定你能做到什么,锁定那些需求，舍弃其他，放到未来的阶段,确保向用户概述了你能够实施的内容,这样也许不能使所有的用户都满意，但是，成功地实现了用户需要的一部分（子集）比试图建立一个超级系统却以失败而告终，什么都不能交付好的多。,详细的实施步骤,投入和费用要实际,基于系统需求分析,确定完成需求所必需的资源,人员,时间/进度,硬件/软件,不要乐观地估计,会发生意外的问题,计划赶不上变化,错误不可避免!,详细的实施步骤,制订一个正式的项目计划,基于,系统需求分析,成本估计,进度估计,可用资源,将范围局限在你能够做到的范围之内,提交正式的项目计划,详细的实施步骤,制订一个正式的项目计划,切记:,正式的项目计划可以确保每一个人（管理者和开发人员）及时了解开发的最新情况，及时发现开发中出现的问题。,详细的实施步骤,制订一个正式的项目计划,最后, 记住:,承诺少一点，然后交付多一点,要比,承诺太多，令人失望,更好,详细的实施步骤,进行详细的数据分析,基于用户的需要和报表,找到提供报表所需数据的遗留/现有的系统,获得任何/所有关于现有数据的文档,获得对所有数据源的访问和使用权,决定是否需要有抽取程序,详细的实施步骤,进行详细的数据分析,确定必需的转换,数据的清洗?,查找,Lookup,/,确认?,合并?,你想要这个过程自动执行吗,?,抽取, 转换, 装载 (,ETL),工具?,定制代码和/或脚本,?,详细的实施步骤,进行详细的数据分析,确定必需的数据更新频度,需要多长时间刷新一次数据,?,如何更新数据?,自动化的过程,复制,ETL,工具,定制的代码和/或手工的脚本,详细的实施步骤,进行详细的数据分析,数据分析应获得以下结果,数据字典, 包含,遗留（,Legacy),的数据定义及其分布位置,新的数据仓库的数据定义,数据规模，类型，单位，例外，等等。,这还不是数据模型，此时你还没有足够的信息来建立系统的模型。,详细的实施步骤,进行详细的数据分析,数据分析应获得以下结果,接口文档, 包含:,将数据从现有系统迁移到数据仓库的,ETL,过程,转换,规则/标准,刷新/实时性需求和详细规格说明,详细的实施步骤,下一步?,系统需求分析和数据分析是详细系统设计的基础,记住:,基础不好，设计也不会好且非常局限,稳固的基础将为设计奠定一个坚实、可扩的基础,详细的实施步骤,详细系统设计,再次强调，这项工作乃至所有的工作都应该立足于已整理完成的用户需求。,让我们看一下在进行详细的系统设计时考虑的一些具体的工作项目。,详细的实施步骤,详细的系统设计,设计首要考虑的是满足用户的需求,数据和数据类型必须通过“数据分析”得到,数据字典,接口文档,详细的实施步骤,详细的系统设计,必需由专业的数据建模人员设计“模式-,Schema”,是复制/修改现有的设计吗？,?,还需要一个新的设计?,你需要什么类型的模式,?,Star,Relational,Flat,详细的实施步骤,详细的系统设计,在设计数据模型时, 考虑以下两者之间可能的折中方案,:,使用户报表获得最高性能,使即席,Ad-HOC,查询获得最大灵活性,在进行用户界面设计时，考虑,:,开发所有报表的原形或样板,构建/虚拟用户界面,邀请用户复审和评判,详细的实施步骤,详细的系统设计,特别注意数据抽取，转换和装载过程的设计,这是很多项目失败的原因,你准备怎样迁移数据,迁移数据的频度如何,如何更新,完整、全面地记录这些文档。以后的系统维护人员会感谢你的。,详细的实施步骤,详细的系统设计,最后，也许是最重要的,:,你的设计/硬件/软件必须实现系统需求，并确保足够的性能。,如果性能很差，即使产生了所需要的报表，用户一样会抛弃的。,不要让范围不断扩大,维持最初的需求,详细的实施步骤,详细的系统设计,此时才是最终确定选择的最佳时机,:,存放数据仓库的硬件,Unix, NT?,硬件平台厂商,（,是否有选择余地）,磁盘阵列支持 (快速的、共享的磁盘阵列),详细的实施步骤,详细的系统设计,选择,实施数据仓库的软件,ETL,工具,Data Modeling,工具,数据库,通用的数据库-,Sybase ASE等,专门的数据仓库数据库,Sybase IQ,详细的实施步骤,详细的系统设计,选择,Query,工具 / 报表生成工具,定制开发?,商业软件包?,详细的实施步骤,详细的系统设计,选择,记住在订购设备和软件时考虑交货时间,不要忘记安装时间,不要忘记安装过程中可能会碰到一些小故障，也会影响到你的时间进度。,详细的实施步骤,详细系统设计的结果,设计工作应该获得以下成果,硬件规格说明,软件规格说明,详细的数据模型,最新的详细的数据字典,源系统的数据规格说明,新数据仓库的数据规格说明,详细的实施步骤,详细系统设计的结果,设计成果,最新的接口文档,包含详细的,ETL,设计/定义,用户界面规格说明,固定报表的设计,Ad-Hoc,即席查询界面设计,详细的实施步骤,详细系统设计的复审,此时，你应该做一下详细设计的复审,正式复审:,数据库的设计,接口的设计,ETL,模板/ 定制代码和脚本,报表示例 (邀请用户参与),详细的实施步骤,记住!,Not RDBMS engine,Not front-end tool,Not data extract tool,Not data loading utilities,Not more processors,Not the business vision,Not technical ingenuity,Not even consultants.,如果物理设计没有做好，没有什么可以弥补的,:,现在可以开始实施了,你应该有几个实施组,数据获取 /,ETL,组,数据库 / 模型实施组,用户界面 / 查询开发组,详细的实施步骤,实施,在界面开发时要求用户参与,尤其是开发屏幕、报表和/或原型,能够更快地获得用户的反馈、实施/修正,详细的实施步骤,实施,在实施过程中, 尽可能多地做增量/单元测试,尽早地发现问题,识别无法预料的风险,在问题/风险威胁整个项目之前解决或规避,详细的实施步骤,正式的系统测试,一旦实施接近尾声，就要开始考虑正式的测试。不要跳过，取消，缩短或忽略正式测试的重要性。,这是让用户确信你已经为他们建立了一些可以实际工作或运行的系统的主要方法。,详细的实施步骤,正式的系统测试,应该由实施组之外的人完成,测试系统需求规格说明中的所有需求,制订正式的测试程序和计划,要求用户参与,复审测试计划和程序,帮助测试用户界面/报表模块,详细的实施步骤,正式的系统测试,邀请生产系统的员工参与部分系统测试,系统的日常操作无法由开发人员完成,生产系统的控制人员将获得宝贵的认识和体验,此时体验将减少交接时间和对使用人员培训的时间,详细的实施步骤,正式的系统测试,成功地进行了完整的系统测试，你就能够很有信心地交付系统给用户，并确信这个系统对用户来说是一个有用的、有价值的系统。,此外，用户也会有信心，这个系统将出色地运行并在工作中提供帮助，发挥作用。,详细的实施步骤,配置管理,如果公司没有专门的配置管理组/部门/计划，那么你应该执行一套配置管理计划,捕获，锁定，备份和控制,所有的文档, 规格说明书, 以及设计文档,任何的,ETL,模板和/或定制代码,脚本/ 批处理文件,数据模型,Data Model(s),详细的实施步骤,配置管理,一个好的配置管理计划将极大地方便以后系统的维护和升级,尤其是在最初的开发人员和设计人员都离开了的情况下,详细的实施步骤,系统交付和培训,此时，系统投入正式的生产环境使用,生产环境的人不太可能是开发人员,为了确保以后使用的成功，需要培训生产环境的操作人员,你还需要提供一些不同级别的用户培训,详细的实施步骤,系统交付和培训,制订正式的系统交付计划,为系统的生产操作人员制订正式、全面的培训程序,编写培训程序和手册,函盖系统的各个方面,详细的实施步骤,如果你按照我们所谈到的内容去做了，那么，此时你应该已经成功地实施了一个系统。,总结一下所谈的内容:,详细的实施步骤,总结,建立用户想要并需要的系统,在所有的阶段邀请他们参与,不要太过夸口,从你知道能够做到的方面着手，立足于现有的时间和资源。,制订一个计划,按计划执行,不断地对照计划复审进度,不要让范围或需求随意扩大,不要过高估计或计划过于乐观,每件事都有正式的文档,不断地对照用户的需求复审设计和实施,不要忘记,ETL,过程,数据规模和装载速度,查询处理需求,培训生产系统人员,培训最终用户,总结,提问?,谢谢！,提问和讨论?,演讲完毕，谢谢观看！,内容总结,成功地管理数据仓库的实施。我们不必把它看成是一个实际的项目，毕竟它就是一些报表。允许范围不断增加，超出了可以做到的范围。没有与用户会面交谈或咨询用户。有 “即席（AD-HOC）” 访问吗。新的系统将会替代现有的/遗留的系统吗。谁 “拥有” 数据。如果“用户”不喜欢这个系统，或者对他们来说系统太难用或太麻烦，那么。实施范围要限定在你能实际做到的范围内。不要让范围扩大 瞄准最初的目标/规划。这样也许不能使所有的用户都满意，但是，成功地实现了用户需要的一部分（子集）比试图建立一个超级系统却以失败而告终，什么都不能交付好的多。将范围局限在你能够做到的范围之内。系统需求分析和数据分析是详细系统设计的基础。稳固的基础将为设计奠定一个坚实、可扩的基础。再次强调，这项工作乃至所有的工作都应该立足于已整理完成的用户需求。在设计数据模型时, 考虑以下两者之间可能的折中方案 :。你的设计/硬件/软件必须实现系统需求，并确保足够的性能,