数据仓库专题讲义

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,#,第四讲,数据仓库,数据库,与,与数据,仓,仓库,数据不,一,一致,可频繁,删,删除数,据,据,存放短,期,期数据,（,（3个月内,）,）,存在数,据,据冗余,数据仓,库,库概述,数据仓,库,库与CRM有着难,以,以割舍,的,的密切,关,关系，,客,客户关,系,系管理,的,的很多,工,工作都,是,是以数,据,据仓库,为,为基础,展,展开的,。,。,利用数,据,据仓库,，,，企业,可,可以对,客,客户行,为,为进行,分,分析和,预,预测，,从,从而制,定,定准确,的,的市场,策,策略、,发,发现重,点,点客户,和,和评价,市,市场性,能,能。对于客,户,户量大,、,、市场,策,策略对,企,企业影,响,响较大,的,的企业,来,来说，必须,在,在客户,关,关系管,理,理系统,中,中包含,数,数据仓,库,库。,数据仓,库,库的产,生,生,早期的,数,数据库,主,主要支,持,持联机,事,事务处,理,理,传统数,据,据库不,能,能满足,决,决策支,持,持对数,据,据库的,要,要求,（1）事务,处,处理和,分,分析处,理,理的性,能,能特性,不,不同,（2)数据集,成,成问题,（3）历史,数,数据问,题,题,（1）事务,处,处理和,分,分析处,理,理的性,能,能特性,不,不同,所有联,机,机事务,处,处理强,调,调的是数据更,新,新处理,性,性能和系统的,可,可靠性。在事,务,务处理,环,环境中,，,，用户的,行,行为特,点,点是数,据,据的存,取,取操作,频,频率高,，,，每次,操,操作处,理,理的时,间,间短。,在分析,处,处理环,境,境中，,用,用户的,行,行为模,式,式与此,完,完全不,同,同，强,调,调的是数据处,理,理和分,析,析的能,力,力。在传,统,统数据,库,库系统,基,基础上,的,的决策支,持,持（DSS）应用,程,程序可,能,能需要,连,连续几,个,个小时,，,，从而,消,消耗大,量,量的系,统,统资源。,联机分,析,析和事,务,务处理,对,对系统,的,的要求,不,不同，,同,同一个,数,数据库,在,在理论,上,上难以,做,做到两,全,全，将,具,具有如,此,此不同,处,处理性,能,能的两,种,种应用,放,放在同,一,一个环,境,境中运,行,行显然,是,是不适,当,当的。,（,2）,数据集,成,成问题,DSS需要集,成,成的数,据,据。全面而,正,正确的,数,数据是有效,的,的分析,和,和决策,的,的首要,前,前提，相关数,据,据收集,得,得越完,整,整，得,到,到的结,果,果就越,可,可靠。当前绝,大,大多数,企,企业内,数,数据的,真,真正状,况,况是分,散,散而非,集,集成的,。,。,造成这,种,种分散,的,的原因,有,有多种,，,，主要,有,有事务,处,处理应,用,用分散,、,、“蜘蛛网”问题、,数,数据不,一,一致问,题,题、外,部,部数据,和,和非结,构,构化数,据,据。,（3）历史,数,数据问,题,题,事务处,理,理一般,只,只需要,当,当前数,据,据，在,数,数据库,中,中一般,也,也是存储短,期,期数据，且不,同,同数据,的,的保存,期,期限也,不,不一样,，,，即使,有,有一些,历,历史数,据,据保存,下,下来了,，,，也被,束,束之高,阁,阁，未,得,得到充,分,分利用,。,。,但对于,决,决策分,析,析而言,，,，历史,数,数据是,相,相当重,要,要的，,许,许多分,析,析方法,必,必须以大量的,历,历史数,据,据为依托,。,。没有,历,历史数,据,据的详,细,细分析,，,，是难,以,以把握,企,企业的,发,发展趋,势,势的。DSS对数据,在,在空间,和,和时间,上,上都有,了,了更高,的,的要求,，,，而事,务,务处理,环,环境难,以,以满足,这,这些要,求,求。,要提高,分,分析和,决,决策的,效,效率和,有,有效性,，,，分析型,处,处理及,其,其数据,必,必须与,操,操作型,处,处理及,其,其数据,相,相分离。必须,把,把分析,型,型数据,从,从事务,处,处理环,境,境中提,取,取出来,，,，按照DSS处理的,需,需要进,行,行重新,组,组织，,建,建立单,独,独的分,析,析处理,环,环境，,数,数据仓,库,库正是,为,为了构,建,建这种,新,新的分,析,析处理,环,环境而,出,出现的,一,一种数,据,据存储,和,和组织,技,技术。,数据仓,库,库的数,据,据从联,机,机的事,务,务处理,系,系统、,异,异构的,外,外部数,据,据源、,脱,脱机的,历,历史业,务,务数据,中,中得到,。,。它是,一,一个联,机,机的系,统,统，专门为,分,分析统,计,计和决,策,策支持,应,应用服,务,务，通过,它,它可满,足,足决策,支,支持和,联,联机分,析,析应用,所,所要求,的,的一切,。,。,数据仓,库,库的概,念,念和特,征,征,著名的,数,数据仓,库,库专家W.H,.,.Inmon在其著,作,作Buildingthe DataWarehouse一书中,给,给予如,下,下描述,：,：,数据仓,库,库（Data Warehouse）是一,个,个面向,主,主题的,（,（Subject Oriented）、集,成,成的（Integrate）、相,对,对稳定,的,的（Non,-,-Volatile）、反,映,映历史,变,变化（Time Variant）的数,据,据集合,，,，用于,支,支持管,理,理决策,。,。,数据仓,库,库概念,的,的两个,层,层次,功能上,：,：数据,仓,仓库用,于,于支持,决,决策，,面,面向分,析,析型数,据,据处理,，,，它不,同,同于企,业,业现有,的,的操作,型,型数据,库,库；,内容和,特,特征上,：,：数据,仓,仓库是,对,对多个,异,异构的,数,数据源,有,有效集,成,成，集,成,成后按,照,照主题,进,进行了,重,重组，,并,并包含,历,历史数,据,据，而,且,且存放,在,在数据,仓,仓库中,的,的数据,一,一般不,再,再修改,。,。,数据仓,库,库特点-面向主,题,题,数据仓,库,库是面,向,向主题,而,而进行,数,数据组,织,织的。,主,主题是,一,一个在,较,较高层,次,次上对,数,数据的,抽,抽象,在逻辑,意,意义上,它是对,企,企业中,某,某一宏,观,观领域,所,所涉及,的,的分析,对,对象，,即,即将数据,组,组织成,主,主题域,。,。,数据仓,库,库特点-集成,数据仓,库,库中的,数,数据是,集,集成的,。,。数据,仓,仓库中,的,的数据,是,是在对,原,原有分,散,散的数,据,据库数,据,据抽取,、,、清理,的,的基础,上,上经过,系,系统加,工,工、汇,总,总和整,理,理得到,的,的，必,须,须消除源,数,数据中,的,的不一,致,致性，以保,证,证数据,仓,仓库内,的,的信息,是,是关于,整,整个企,业,业的一,致,致的全,局,局信息,。,。在数,据,据仓库,建,建设中,，,，这是,最,最关键,最,最复杂,的,的一个,步,步骤，,主,主要工,作,作有：,一,一是，,进,进行数,据,据的综,合,合和计,算,算；二,是,是，统,一,一源数,据,据中所,有,有不一,致,致和矛,盾,盾的地,方,方(如同名,异,异义、,异,异名同,义,义、字,长,长不一,致,致、单,位,位不一,致,致等)。,数据仓,库,库四个,特,特点-相对稳,定,定,操作型,数,数据库,中,中的数,据,据通常,实,实时更,新,新，数,据,据根据,需,需要及,时,时发生,变,变化。,数,数据仓,库,库的数,据,据主要,供,供企业,决,决策分,析,析之用,，,，所涉,及,及的数,据,据操作,主,主要是,数,数据查,询,询，一,旦,旦某个,数,数据进,入,入数据,仓,仓库以,后,后，一,般,般情况,下,下将被,长,长期保,留,留，也,就,就是数,据,据仓库,中,中一般有大量,的,的查询,操,操作，但修改和,删,删除操,作,作很少，通常,只,只需要定期的,加,加载、,刷,刷新。,数据仓,库,库四个,特,特点-相对稳,定,定的,数据仓,库,库四个,特,特点-反映历,史,史变化,数据仓,库,库中的,数,数据通,常,常包含,历,历史信,息,息，系,统,统记录,了,了企业,从,从过去,某,某一时,点,点(如开始,应,应用数,据,据仓库,的,的时点)到目前,的,的各个,阶,阶段的,信,信息，,通,通过这,些,些信息,，,，可以,对,对企业,的,的发展,历,历程和,未,未来趋,势,势做出,定,定量分,析,析和预,测,测。数,据,据仓库,中,中的数,据,据时间,期,期限要,远,远远长,于,于操作,型,型系统,中,中的数,据,据时间,期,期限。,操,操作型,系,系统的,时,时间期,限,限一般,是,是6 09 0天，而数,据,据仓库,中,中数据,的,的时间,期,期限通,常,常是51 0年。,数据仓,库,库四个,特,特点-反映历,史,史变化,数据仓,库,库本质,如果说,传,传统数,据,据库系,统,统的要,求,求是快,速,速、准,确,确、安,全,全、可,靠,靠地将,数,数据存,进,进数据,库,库中的,话,话，那,么,么数据,仓,仓库的,要,要求就,是,是能够,准,准确、,安,安全、,可,可靠地,从,从数据,库,库中取,出,出数据,，,，经过,加,加工转,换,换成有,规,规律信,息,息之后,，,，再供,管,管理人,员,员进行,分,分析使,用,用。,数据仓,库,库所要,研,研究和,解,解决的,问,问题就,是,是从数,据,据库中,获,获取信,息,息。,数据仓,库,库系统,体,体系结,构,构,数据源,数据源,是,是数据,仓,仓库系,统,统的基,础,础，是,整,整个系,统,统的数,据,据源泉,。,。通常,包,包括企,业,业内部,信,信息和,外,外部信,息,息。内,部,部信息,包,包括各,种,种业务,处,处理数,据,据和各,类,类文档,数,数据。,外,外部信,息,息包括,各,各类法,律,律法规,、,、市场,信,信息和,竞,竞争对,手,手的信,息,息等等,。,。,数据的,存,存储与,管,管理,数据的,存,存储与,管,管理是,整,整个数,据,据仓库,系,系统的,核,核心。,针,针对现,有,有各业,务,务系统,的,的数据,，,，进行,抽,抽取、,清,清理，,并,并有效,集,集成，,按,按照主,题,题进行,组,组织。,数,数据仓,库,库按照,数,数据的,覆,覆盖范,围,围可以,分,分为企,业,业级数,据,据仓库,和,和部门,级,级数据,仓,仓库（,通,通常称,为,为数据,集,集市）,。,。,OLAP服务器,OLAP服务器,对,对分析,需,需要的,数,数据进,行,行有效,集,集成，,按,按多维,模,模型予,以,以组织,，,，以便,进,进行多,角,角度、,多,多层次,的,的分析,，,，并发,现,现趋势,。,。,前端工,具,具,前端工,具,具主要,包,包括各,种,种报表,工,工具、,查,查询工,具,具、数,据,据分析,工,工具、,数,数据挖,掘,掘工具,以,以及各,种,种基于,数,数据仓,库,库或数,据,据集市,的,的应用,开,开发工,具,具。,联机分,析,析处理,（,（OLAP）,联机分,析,析处理,（,（OLAP）的概,念,念最早,是,是由关,系,系数据,库,库之父E.F,.,.Codd于1993年提出,的,的。当,时,时，Codd认为联,机,机事务,处,处理（OLTP）已不,能,能满足,终,终端用,户,户对数,据,据库查,询,询分析,的,的需要,，,，SQL对大量,数,数据库,进,进行的,简,简单查,询,询也