数据仓库技术制定方案.doc

数据仓库制定方案在当下的数据仓库系统安全控制模块中，我国数据仓库安全分为不同的等级。总体来说，我国的数据仓库安全性是比较低。为更好的健全计算机数据仓库体系，进行数据仓库安全体系的研究是必要的。很多软件都是因为其比较缺乏安全性而得不到较大范围的应用，归根结底是数据仓库安全性级别比较低。为满足现阶段数据仓库安全工作的需要，有利于数据仓库保密性的控制，保证这些数据存储与调用的一致性。当前数据仓库安全控制过程中，首先需要对这些数据进行可用性的分析，从而有利于避免数据仓库遭到破坏，更有利于进行数据仓库的损坏控制及其修复。其次为了保证数据仓库的安全性、效益性，也离不开对数据仓库整体安全性方案的应用。最后必须对数据仓库进行的一切操作进行跟踪记录，以实现对修改和访问数据仓库的用户进行追踪，从而方便追查并防止非法用户对数据仓库进行操作。2.1数据仓库安全整体规划 本方案通过对电力行业敏感信息泄露安全威胁的分析，对数据仓库安全进行整体设计与规划，通过全系列数据仓库安全产品相互之间分工协作，共同形成整体的防护体系，覆盖了数据仓库安全防护的事前诊断、事中控制和事后分析。制定严密可行的实施计划，整个工程严格按照计划进行；公司质量控制部利用ISO9000质量管理规范对工程的软件开发及实施全过程进行监督和控制；建立完善的软件开发和工程实施的文档体系。对程序进行测试，对各个模块之间的关联情况下可能出现的问题进行严密的测试，并不断完善在测试过程中暴露出来的问题。在这过程中质量控制小组将全程参与，确保软件质量。需求调研是数据仓库开发的最重要的环节之一，在调研的过程中能否真实、准确地描述客户的需求，对于数据仓库的开发有着举足轻重的影响。与客户沟通不够导致对同一个事物的描述或者理解有分歧和差异，或者调研过程中流于表面文字，而没有进入实际的操作，都可能造成在需求调研的过程中造成对需求不精确的理解。失之毫厘，谬之千里，需求调研的微小差异可能会在软件的开发过程中造成较大的偏差，直接影响了工程的建设质量。为此我们为需求调研工作分配了充裕的人力的时间，制定了完善的调研方案，对需求调研的深度和广度做了规范性的描述。确保需求调研的工作质量。2.2数据仓库开发阶段划分与目标2.2.1、需求分析阶段主要对供电公司的需求、软硬件条件、数据状况等情况进行调研，对需求调研的结果进行分析，同时考虑需求的广泛适用性，归结出其中共同的部分和相异的部分，以便下一步根据需求完成系统软件开发。2.2.2、物理建模阶段依照需求分析得到的逻辑模式，设计数据仓库中的数据仓库，开发数据仓库中数据的物理存储结构，即设计多维数据结构的事实表和维表。2.2.3、数据转换阶段此阶段实现从多个源系统中抽取、清理、一致化、综合、装载数据等过程的设计和编码。2.2.4、生成多维模式并搭建立方体阶段在已创建的仓库模式的基础上，对维定义了层和层次；创建了需要预计算的量度；利用优化器根据业务进行了切片优化和预处理，生成MQT（物化视图）；在模式中建立立方体，供查询和多维分析使用。2.2.5、多维分析及展现阶段使用数据分析和展现工具，开发多维分析程序以及展现页面。2.2.6、数据挖掘阶段使用数据挖掘建模工具进行聚类、关联、分类、预测，使用数据挖掘模型图示化工具，使用图形展示挖掘结果。2.2.7、数据仓库项目目标使数据仓库达到一致性、有效性、易用性、便携性、安全性、共享、纠错、速度、原子事物处理、持久性和备份、降低成本和可扩展性、复杂的计算、CRUD把信息系统中大量的数据按一定的模型组织起来，提供储存、维护、检索数据的功能，使信息系统可以方便、及时、准确地从数据仓库中获得所需的信息。2.3数据仓库技术要求和范围项目方案要面向未来，技术必须具有合理性和前瞻性，应当符合以下几点要求： 2.3.1可扩展性系统的数据仓库技术方案要能将现有各种资源和应用系统有效地集成在一起，系统数据仓库的结构要合理，要具有良好的可扩展性，由于IT 领域技术发展十分迅速，应用环境，系统硬件及系统软件都会不可避免将被更新，因此系统的可扩充性及版本的兼容性好坏，直接影响着应用系统和用户需求的发展和功能的提升。另一方面，它还要有与其它系统的接口能力，利用各系统功能之长，进行优势互补。2.3.2标准化现有信息技术的发展越来越快，为了使该系统在未来运行过程中其技术能和整个信息技术的发展同步，系统数据仓库应具有备灵活适应性和良好的可扩展性，系统的结构设计和产品选型要坚持标准化，首先采用国家标准和国际标准，其次采用广为流传的实用化工业标准。2.3.3可管理性本系统数据仓库是一个比较大、较复杂的系统，它包含大量硬件设备、软件系统和数据信息资源，这些资源分布在各个不同的地点，因此系统的技术方案要提供多层次、方便、有效的管理手段，为系统正常运行提供技术管理保障。2.3.4可配臵性由于整个系统数据仓库涉及的系统比较多，业务种类比较复杂，因此系统的灵活配臵性就显得非常重要，系统的可配臵性应包括部门配臵、人员角色配臵、公文样式配臵、处理流程配臵等。2.3.5数据仓库项目范围1、 数据仓库是信息系统的核心和基础2、 数据仓库是信息系统的各个部分是否能紧密地结合在一起以及如何结合的关键所在。3、 数据仓库设计是信息系统开发和建设的重要组成部分2.4开发过程和结构选择2.4.1.结构开发在数据仓库规划中一般需要经历这样几个过程：选择实现策略、确定数据仓库的开发目标和实现范围、选择数据仓库体系结构、建立商业和项目规划预算。当数据仓库规划完成后，需要编制相应的数据仓库规划说明书，说明数据仓库与企业战略的关系，以及与企业急需处理的、范围相对有限的开发机会，重点支持的职能部门和今后数据仓库开发工作的建议，实际使用方案和开发预算，作为数据仓库实际开发的依据。2.4.2.结构选择 数据仓库的结构可以进行灵活的选择，可将组织所使用的各种平台进行恰当的分割，把数据源、数据仓库和最终用户使用的工作站分割开来进行恰当的设计。2.5数据仓库的应用结构基于业务处理系统的数据仓库在这种结构中，将运作的数据用于无需修改数据的只读应用程序中。具有这种结构的数据仓库元数据仓库是一种虚库，而不是数据仓库自身的元数据。在数据仓库元数据仓库的直接指导下，对数据仓库的查询就是简单的从数据仓库中抽取数据。单纯数据仓库利用在数据仓库中的数据源净化、集成、概括和集成等操作，将数据源从业务处理系统中传输进集中的数据仓库，各部门的数据仓库应用只在数据仓库中进行。这种结构经常发生在多部门、少用户使用数据仓库的情况下。这里的集中仅仅是逻辑上的，物理上可能是分散的。单纯数据集市 数据集市是指在部门中使用的数据仓库，因为企业中的各个职能部门都有自己的特殊需要，而统一的数据仓库可能不能满足这些部门的特殊要求。这种体系结构经常发生在个别部门对数据仓库的应用感兴趣，而组织中其他部门却对数据仓库的应用十分冷漠之时，由热心的部门单独开发式所采用。数据仓库和数据集市企业各部门拥有满足自己需要的数据集市，其数据从企业数据仓库中获取，而数据仓库从企业各种数据源中收集和分配。这种体系结构是一种较为完善的数据仓库体系结构，往往发生在组织整体对数据仓库应用感兴趣之时所采用的体系结构。2.6数据仓库的技术平台结构单层结构单层结构主要是在数据源和数据仓库之间共享平台，或者让数据源、数据仓库、数据集市与最终用户工作站使用同一个平台。共享一个平台可以降低数据抽取和数据转换的复杂性，但是共享平台在应用中可能遇到性能和管理方面的问题，这种体系结构一般在数据仓库规模较小，而组织的业务系统平台具有较大潜力之时所采用。客户/服务器两层结构一层为客户机，一层为服务器，最终用户访问工具在客户层上运行，而数据源、数据仓库和数据集市位于服务器上，该技术机构一般用于普通规模的数据仓库。 三层客户/服务器结构基于工作站的客户层、基于服务器的中间层和基于主机的第三层。主机层负责管理数据源和可选的源数据转换；服务器运行数据仓库和数据集市软件，并且存储仓库的数据；客户工作站运行查询和报表运用程序，且还可以存储从数据集市或数据仓库卸载的局部数据。在数据仓库稍具规模，两层数据仓库结构已经不能满足客户的需求，要讲数据仓库的数据存储管理、数据仓库的应用处理和客户端应用分开之时，可以采用这种结构。多层式结构 这是在三层机构基础上发展起来的数据仓库结构，在该结构中从最内数据层到最外层的客户层依次是：单独的数据仓库存储层、对数据仓库和数据集市进行管理的数据仓库服务层、进行数据仓库查询处理的查询服务层、完成数据仓库应用处理的应用服务层和面向最终用户的客户层。体系层次可能多达五层，这种体系结构一般用于超规模数据仓库系统。2.7数据仓库使用方案和项目规划预算数据仓库的实际使用方案与开发预算，是数据仓库规划中最后需要确定的问题。因为数据仓库主要用于对企业管理人员的决策支持，确保其实用性是十分重要的，因此需要让最终用户参与数据仓库的功能设计。这种参与是通过用户的实际使用方案进行的，使用方案是一个非常重要的需求模型。实际使用方案必须有助于阐明最终用户对数据仓库的要求，这些要求有的只使用适当的数据源就可以得到基本满足，而有的却需要来自企业外部的数据源，这就需要通过使用方案将这些不同的要求联系起来。实际使用方案还可以将最终用户的决策支持要求与数据仓库的技术要求联系起来。因为当用户确定最终要求后，为元数据仓库的范围确定一个界限。还可以确定所需要的历史信息的数量，当根据特定的用户进行数据仓库的规划时，就可确定最终用户所关心的维度（时间、方位、商业单位和生产企业），因为维度与所需要的概括操作有明显的关系，必须选择对最终用户有实际意义的维度，如：“月”、“季度”、“年”等。最后，还可以确定数据集市/数据仓库的结构需要，使设计人员确定采用单纯数据仓库结构，还是单纯的数据集市结构或者是两者相结合的结构。在实际使用开发方案确定后，还需要对开发方案的预算进行估计，确定项目的投资数额。投资方案的确定可以依据以往的软件开发成本，但是这种预算的评估比较粗糙。另一种方法是参照结构进行成本评估，也就是说，将数据仓库实际使用方案所确定的构件进行分解，根据各个构件的成本进行预算估算。数据仓库的构件包含在数据源、数据仓库、数据集市、最终用户存取、数据管理、元数据管理、传输基础等部分中，这些构件有的在企业原有信息系统中已经具备，有的可以选择商品化构件，有的则需要自我开发。根据这些构件的不同来源，可以确定比较准确的预算。在完成数据仓库规划后，就需要编制数据仓库开发说明书，说明系统与企业战略目标的关系，以及系统与企业急需处理的范围相对有限的开发机会，所设想的业务机会的说明以及目标任务概况说明、重点支持的职能部门和今后工作的建议。数据仓库项目应有明确的业务价值计划开始，在计划中需要阐明期望取得的有形和无形的利益。无形利益包含利用数据仓库使决策完成得更快更好等利益。业务价值计划最好由目标业务主管来完成，因为数据仓库是用户驱动的，应该让用户积极参与数据仓库的建设，在规划书中要确定数据仓库开发目标的实现范围、体系结构和使用方案及开发预算。