数据仓库的高校数据统计服务平台研究教材

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,4/25/2010,#,基于数据,仓,仓库的高,校,校数据统,计,计服务平,台,台研究,提纲,背景,需求分析,平台设计,平台实现,平台部署,背景,各高校建,成,成的信息,管,管理系统,越,越来越多,，,，海量数,据,据背后隐,藏,藏着,许多重要,信,信息，是,学,学校正常,运,运转的核,心,心资源，,以,以灵活便,捷,捷的,方式对数,据,据进行统,计,计、分析,，,，进而为,高,高校管理,与,与决策提,供,供支,持的需求,日,日益强烈,背景,商业智能,(BI,businessintelligence),GartnerGroup,HowardDresner,1996,：一类由,数据仓库,(,或数据集市,),、查询报表,、,、数据分析,、,、数据挖掘,、,、,数据备份和,恢,恢复等部分,组,组成，以帮,助,助企业决策,为,为目的的技,术,术,及其应用。,背景,微软的,BI,体系框架,背景,IBM,的,BI,体系框架,背景,建立,BI,系统的基本,步,步骤包括：,确认和解读,数,数据源；,进行数据采,集,集和存储管,理,理；,构建模型并,在,在此基础上,分,分析数据,背景,商业智能的,基,基础是数据,仓,仓库,(DW,DataWarehouse),数据仓库是,一,一个面向主,题,题的、集成,的,的、相对稳,定,定的、反映,历,历,史变化的数,据,据集合。,数据仓库为,有,有效地为,BI,系统提供了,全,全局一致的,数,数据环境，,也,也为历,史数据综合,数,数据的处理,提,提出了一种,行,行之有效的,解,解决方法。,背景,国外,:BI,应用已经进,入,入了数据分,析,析阶段，有,些,些已经积累,了,了高端的数,据,据,挖掘经验；,国内,:BI,的应用则还,停,停留在数据,整,整合的初级,阶,阶段，应用,的,的主要领域,集,集,中在电信、,保,保险、销售,等,等行业，,国内高校的,情,情况不容乐,观,观：,数据分散在,不,不同的源系,统,统中，数据,的,的规范性和,共,共享性还存,在,在很大问题,；,；,数据统计和,分,分析基本上,是,是基于单个,系,系统中的操,作,作型数据进,行,行的，既不,能反映出不,同,同系统之间,的,的数据关联,，,，又缺乏对,数,数据的全局,把,把握；还会,因为操作型,数,数据的动态,性,性和分散性,影,影响统计结,果,果的准确性,，,，也无法对,历史数据进,行,行统计和分,析,析。,背景,要建立高校,的,的,BI,应用，满足,为,为高校管理,与,与决策提供,支,支持的,需求，首先,必,必须打破不,同,同应用系统,之,之间的“藩,篱,篱”，建立,全,全,局一致的数,据,据仓库，将,操,操作型数据,转,转换为静态,的,的、稳定的,、,、,规范化的、,能,能够反映历,史,史的分析型,数,数据，然后,在,在此基础上,搭,搭,建统一的数,据,据统计服务,平,平台。,需求分析,数据统计需,求,求按用途不,同,同分为,2,类：,一是以年报,表,表或者季度,报,报表的形式,上,上报上级部,门,门的统计数,据,据，有,着固定的报,表,表格式、复,杂,杂的报表内,容,容、专门的,统,统计口径，,有,有的报,表甚至还有,严,严格的填报,流,流程；,二是部门日,常,常所需要统,计,计数据，往,往,往和某种类,型,型具体业务,相,相关，,和第一类需,求,求相比，统,计,计数据的格,式,式和内容比,较,较简单，没,有,有复杂,的填报流程,，,，但时间粒,度,度要求更细,，,，要以月报,表,表、周报表,乃,乃至日,报表的形式,提,提供统计结,果,果，并且要,求,求提供数据,钻,钻取的功能,。,。,需求分析,这些需要统,计,计的数据涉,及,及高校人事,、,、学生、科,研,研、教学等,各,各,个领域，每,个,个领域下面,又,又细分为了,很,很多不同的,细,细类，具体,如,如,图,1,所示。,平台设计,总体架构,数据仓库建,模,模,统计数据模,型,型,总体架构,高校数据统,计,计服务平台,由,由源系统、,数,数据仓库和,统,统计平台三,部,部,分组成。,总体架构,源系统：,高校业务涉,及,及的数据源,比,比较广泛，,主,主要有人事,系,系统、,教务系统、,研,研究生系统,、,、科研系统,等,等，再加上,校,校园网之外,的,的,一些其他外,部,部数据源，,构,构成了数据,统,统计服务平,台,台的数据基,础,础，,由于系统业,务,务职能和具,体,体需求不同,，,，在实现时,会,会选用不同,的,的,数据库，数,据,据结构也可,能,能存在较大,差,差异，从而,导,导致数据间,有,有,较大的异构,性,性和不一致,性,性。,总体架构,数据仓库,：数据仓库,全,全面接收源,系,系统数据，,ETL,进程对数据,进行规范化,、,、验证、清,洗,洗，并最终,装,装载进入数,据,据集市，通,过,过,数据集市支,持,持系统进行,数,数据查询、,分,分析；整个,数,数据仓库包,含,含,四大层次：,复制层,(SSA,system-of-records-staging-area),原子层,(SOR,system-of-record),汇总层,(SMA,summary-area),集市层,(DM,datamart),总体架构,复制层(,SSA,system-of-records-staging-area,),：直,接复制源系,统,统的数据，,尽,尽量保持业,务,务数据的原,貌,貌；与源系,统,统数,据唯一不同,的,的是，复制,层,层中的数据,在,在源系统数,据,据的基础上,加,加入,了时间戳的,信,信息，形成,了,了多个版本,的,的历史数据,信,信息；,原子层(,SOR,system-of-record,),：基于模型,开,开发的一套,符合,3NF,范式规则的,表,表结构，它,存,存储了数据,仓,仓库内最细,层,层次的,数据，并按,照,照不同的主,题,题域对数据,分,分类存储；,根,根据目前部,分,分需,求，将全校,数,数据在原子,层,层中按人事,、,、学生、教,学,学、科研四,大,大主,题,存,存,储,储,；,；,原,原,子,子,层,层,是,是,整,整,个,个,数,数,据,据,仓,仓,库,库,的,的,核,核,心,心,和,和,基,基,础,础,，,，,在,在,设,设,计,计,过,过,程,程,中,中,应具有,足,足够的,灵,灵活性,，,，以能,应,应对添,加,加更多,的,的数据,源,源、支,持,持更多,的分析,需,需求，,同,同时能,够,够支持,进,进一步,的,的升级,和,和更新,；,；,总体架,构,构,汇总层(,SMA,summary-area,),：汇总,层,层是原,子,子层和,集,集,市层的,中,中间过,渡,渡，由,于,于原子,层,层的数,据,据是高,度,度规范,化,化数据,，,，,因此要,完,完成一,个,个查询,需,需要大,量,量的关,联,联工作,，,，同时,集,集市层,中,中,的数据,粒,粒度往,往,往要比,原,原子层,高,高很多,，,，对要,生,生成集,市,市层中,的,的,汇总数,据,据需要,进,进行大,量,量的汇,总,总工作,，,，因此,，,，汇总,层,层根据,需,需,求把原,子,子层数,据,据进行,适,适度的,反,反范（,例,例如，,设,设计宽,表,表结构,将,将,人员信,息,息、干,部,部信息,等,等多个,表,表的数,据,据合并,起,起来）,和,和汇总,（例如,，,，一些,常,常用的,人,人头汇,总,总、机,构,构汇总,等,等）；,从,从而提,高,高,数据仓,库,库查询,的,的性能,。,。,总体架,构,构,集市层(,DM,datamart,),：集市,层,层保存,的,的数据,是,是供用,户,户直,接访问,的,的；可,以,以将集,市,市层理,解,解成最,终,终用户,直,直接最,终,终想要,看,看的,数据；,集,集市层,主,主要是,各,各类粒,度,度的事,实,实数据,，,，通过,提,提供不,同,同粒,度的数,据,据，适,应,应不同,的,的数据,访,访问需,求,求；集,市,市层中,的,的数据,以,以,2,种,不,不,同,同,类,类,型,型,存,存,储,储,：,：,一,一,类,类,以,以,星,星,型,型,模,模,型,型,建,建,设,设,，,，,便,便,于,于,部,部,门,门,日,日,常,常,的,的,灵,灵,活,查,查,询,询,和,和,统,统,计,计,，,，,另,另,一,一,类,类,按,按,宽,宽,表,表,以,以,及,及,重,重,新,新,组,组,织,织,的,的,适,适,应,应,固,固,定,定,报,报,表,表,的,表,表,结,结,构,构,存,存,储,储,，,，,便,便,于,于,高,高,校,校,的,的,年,年,统,统,和,和,季,季,度,度,统,统,计,计,工,工,作,作,。,。,总,体,体,架,架,构,构,统,计,计,平,平,台,台,：,高,高,校,校,数,数,据,据,统,统,计,计,服,服,务,务,平,平,台,台,采,采,用,用B/S,架,架,构,构,的,的3,层,层,体,体,系,系,结,结,构,，,，,即,即,：,：,数,数,据,据,操,操,作,作,层,层,、,、,逻,逻,辑,辑,层,层,、,、,表,表,示,示,层,层,。,。,数,据,据,操,操,作,作,层,层,逻,辑,辑,层,层,表,示,示,层,层,总,体,体,架,架,构,构,数,据,据,操,操,作,作,层,层,：,：,充分考虑系,统,统的高可用,性,性，数据统,计,计服务平,台与数据仓,库,库所使用的,数,数据库互相,独,独立，由此,保,保证数据统,计服务平台,对,对数据进行,加,加工处理时,不,不会影响数,据,据仓库中的,数据；数据,存,存取模块实,现,现对数据统,计,计服务平台,数,数据的访问,。,。,总体架构,逻辑层：,分为报表预,定,定义、报表,查,查询、报表,生,生成、报表,填,填报、,报表审核及,报,报表汇总等,模,模块；每个,模,模块分别实,现,现不同的功,能,能；,在统计平台,中,中，不同身,份,份的用户其,功,功能权限和,数,数据权限是,不,不,一样的：报,表,表预定义是,给,给系统管理,员,员用的；报,表,表生成、报,表,表,填报是给院,系,系管理人员,使,使用的，只,能,能查看和操,作,作本院系的,数,数,据；报表审,核,核、报表汇,总,总是给学校,相,相关部门的,管,管理人员用,的,的，,可以操作全,校,校数据；功,能,能权限和数,据,据权限通过,公,公用层与身,份,份,认证服务平,台,台对接，统,一,一进行管理,总体架构,表示层：,提供交互界,面,面给用户使,用,用，此外还,提,提供一些服,务,务接,口供其他系,统,统调用,数据仓库建,模,模,目前较为流,行,行的数据仓,库,库的建模方,法,法较多，常,用,用的有,Inmon,所提倡的范,式,式建模法和,Kimball,所提倡的维,度,度建,模法。,数据仓库建,模,模,维度建模法,针,针对各个维,做,做了大量的,预,预处理，通,过,过这些预处,理,理能够,极大地提升,数,数据仓库的,处,处理能力，,相,相对于范式,建,建模法来说,，,，在性,能上占据了,明,明显的优势,；,；同时维度,建,建模非常直,观,观，紧紧围,绕,绕着业,务模型，可,以,以直观地反,映,映出业务模,型,型中的业务,问,问题。不需,要,要经过,特别的抽象,处,处理即可以,完,完成维度建,模,模。因此高,校,校数据统计,服,服务平,台的数据仓,库,库采取维度,建,建模的方式,构,构建。,维度建模法,采,采用事实表,维表的方式,来,来构建数据,仓,仓库，数据,集,集市、,事实表存储,实,实际的数据,，,，维表存储,事,事实表中对,象,象的属性，,事,事实表,和维表的关,联,联关系常用,的,的是“星型,模,模型”。,数据仓库建