客户关系管理第6章

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,#,第6章 CRM中的数据管理,数据仓库（data warehouse）与数据挖掘（ data mining）,6.1数据仓,库,库的基,本,本原理,数据仓,库,库的兴起,1.“数据太,多,多，信,息,息不足,”,”的现,状,状,2.异构环,境,境的数,据,据源,据美国幸福杂志所,列,列的全,球,球2000家大公,司,司中已,有,有90%将Internet网络和,数,数据仓,库,库这两,项,项技术,列,列入企,业,业计划,。,。,数据仓,库,库是1995年开始,盛,盛行起,来,来的。,6.1,.,.1数据仓,库,库的概,念,念,（1）W.H,.,.Inmon在建立数,据,据仓库一书中,，,，对数,据,据仓库,的,的定义,为,为：,数据仓,库,库是面,向,向主题,的,的、集,成,成的、,稳,稳定的,，,，不同,时,时间的,数,数据集,合,合，用,于,于支持,经,经营管,理,理中决,策,策制定,过,过程。,（2）SAS软件研,究,究所定,义,义：,数据仓,库,库是一,种,种管理,技,技术，,旨,旨在通,过,过通畅,、,、合理,、,、全面,的,的信息,管,管理，,达,达到有,效,效的决,策,策支持,。,。,传统数,据,据库用,于,于事务,处,处理，,也,也叫操,作,作型处,理,理，是,指,指对数,据,据库联,机,机进行,日,日常操,作,作，即,对,对一个,或,或一组,记,记录的,查,查询和,修,修改，,主,主要为,企,企业特,定,定的应,用,用服务,的,的。用,户,户关心,的,的是响,应,应时间,，,，数据,的,的安全,性,性和完,整,整性。,数据仓,库,库用于,决,决策支,持,持，也,称,称分析,型,型处理,，,，用于,决,决策分,析,析，它,是,是建立,决,决策支,持,持系统,（,（DSS）的基础,。,。,操作型,数,数据（DB数据）,与,与,分析型,数,数据（DW数据）,之,之间的,差,差别为,：,：,数据仓,库,库特点,（1）数据,仓,仓库是,面,面向主,题,题的,主题是,数,数据归,类,类的标,准,准，每,一,一个主,题,题基本,对,对应一,个,个宏观,的,的分析,领,领域。,例如，,银,银行的,数,数据仓,库,库的主,题,题：客,户,户,DW的客户,数,数据来,源,源：,从银行储,蓄,蓄DB、信用卡DB、贷款DB等三个DB中抽取,同,同一客,户,户的数,据,据整理,而,而成。,在DW中分析,客,客户数,据,据，可,决,决定是,否,否继续,给,给予贷,款,款。,传统的,数,数据库,是,是面向,应,应用而,进,进行数,据,据组织,的,的，其,抽,抽象程,度,度不够,高,高，没,有,有完全,实,实现数,据,据与应,用,用的分,离,离。但,这,这种方,式,式能较,好,好地将,企,企业业,务,务活动,与,与数据,库,库模式,相,相对应,，,，利于,从,从手工,处,处理向,计,计算机,处,处理过,渡,渡，因,而,而具有,较,较好的,可,可操作,性,性；数,据,据仓库,是,是面向,主,主题而,进,进行数,据,据组织,的,的。,主题是,一,一个在,较,较高层,次,次上对,数,数据的,抽,抽象，,在,在逻辑,意,意义上,，,，它是,对,对企业,中,中某一,宏,宏观领,域,域所涉,及,及的分,析,析对象,，,，即将,数,数据组,织,织成主,题,题域。,面向主,题,题,汽车,人寿,健康,意外伤,亡,亡,操作性,环,环境,应,用,用,顾客,保险单,保险费,索赔,数据仓,库,库,主,题,题,（2）数据,仓,仓库是,集,集成的,数据进,入,入数据,仓,仓库之,前,前，必,须,须经过,加,加工与,集,集成。,对不同,的,的数据,来,来源进,行,行统一,数,数据结,构,构和编,码,码。统,一,一原始,数,数据中,的,的所有,矛,矛盾之,处,处，如,字,字段的,同,同名异,义,义，异,名,名同义,，,，单位,不,不统一,，,，字长,不,不一致,等,等。,将原始,数,数据结,构,构做一,个,个从面,向,向应用,到,到面向,主,主题的,大,大转变,。,。,数据库,应用A m,f,应用B 1,0,应用C x,y,应用D男，女,数据仓,库,库,m,f,编码,应用A管道cm,应用B管道inches,应用C管道mcf,应用D管道yds,管道cm,属性度,量,量,应用A描述,应用B描述,应用C描述,应用D描述,应用A char,(,(10,),),应用Bdecfixed(9,2,),),应用Cpic9999999,应用D char,(,(12,),多重信,息,息源,？,描述,char(12),冲突的,键,键码,集成,（3）数据,仓,仓库是,稳,稳定/非易失,的,的,操作型,数,数据库,中,中的数,据,据通常,实,实时更,新,新，数,据,据根据,需,需要及,时,时发生,变,变化。,数,数据仓,库,库的数,据,据主要,供,供企业,决,决策分,析,析之用,，,，所涉,及,及的数,据,据操作,主,主要是,数,数据查,询,询，一,旦,旦某个,数,数据进,入,入数据,仓,仓库以,后,后，一,般,般情况,下,下将被,长,长期保,留,留，也,就,就是数,据,据仓库,中,中一般,有,有大量,的,的查询,操,操作，,但,但修改,和,和删除,操,操作很,少,少，通,常,常只需,要,要定期,的,的加载,、,、刷新,。,。,非易失,性,性,插入,删除,插入,修改,删除,访问,修改,访问,数据的,逐,逐个记,录,录方式,处,处理,数据的,批,批量载,入,入/访问,数据库,数据仓,库,库,（4）数据,仓,仓库是,反,反映时,间,间变化,的,的,操作型,数,数据库,主,主要关,心,心当前,某,某一个,时,时间段,内,内的数,据,据，而,数,数据仓,库,库中的,数,数据通,常,常包含,历,历史信,息,息，系,统,统记录,了,了企业,从,从过去,某,某一时,点,点(如开始,应,应用数,据,据仓库,的,的时点)到目前,的,的各个,阶,阶段的,信,信息，,通,通过这,些,些信息,，,，可以,对,对企业,的,的发展,历,历程和,未,未来趋,势,势做出,定,定量分,析,析和预,测,测。,数据仓,库,库中的,数,数据时,间,间期限,要,要远远,长,长于操,作,作型系,统,统中的,数,数据时,间,间期限,。,。操作,型,型系统,的,的时间,期,期限一,般,般是6 09 0天，而,数,数据仓,库,库中数,据,据的时,间,间期限,通,通常是51 0年,。,操作型,数,数据库,含,含有“,当,当前值,”,”的数,据,据，这,些,些数据,的,的准确,性,性在访,问,问时是,有,有效的,，,，同样,当,当前值,的,的数据,能,能被更,新,新。而,数,数据仓,库,库中的,数,数据仅,仅,仅是一,系,系列某,一,一时刻,生,生成的,复,复杂的,快,快照。,操作型,数,数据的,键,键码结,构,构可能,包,包含也,可,可能不,包,包含时,间,间元素,，,，如年,、,、月、,日,日等。,而,而数据,仓,仓库的,键,键码结,构,构总是,包,包含某,时,时间元,素,素。数,据,据仓库,的,的数据,码,码键都,包,包含时,间,间项，,用,用作标,明,明数据,的,的历史,时,时期。,数,数据仓,库,库中的,数,数据包,含,含有大,量,量综合,数,数据，,很,很多与,时,时间有,关,关，如,按,按时间,段,段进行,综,综合或,隔,隔时间,片,片进行,抽,抽样。,随,随着时,间,间变化,，,，数据,仓,仓库需,要,要不断,增,增加新,数,数据、,删,删去旧,数,数据。,数据库,数据仓,库,库,时间期,限,限：当,前,前到6090天,记录更,新,新,键码结,构,构可能,包,包括也,可,可能不,包括时,间,间元素,时间期,限,限：510年,数据的,复,复杂快,照,照,键码结,构,构包括,时,时间元,素,素,（5）DW中数据,量,量大。,大型DW是一个TB（1000GB）级数据,库,库问题,（,（一般,为,为10GB级相当,于,于一般,数,数据库100MB的100倍）,需要一,个,个巨大,的,的硬件,平,平台,需要一,个,个并行,的,的数据,库,库系统,最好的,数,数据仓,库,库是大,的,的和昂,贵,贵的。,（6）是信,息,息的概,括,括和聚,集,集。,操作性,数据仓,库,库,J Jones,女,1945年7月20日,。,。,。,J Jones,去年有,两,两张罚,单,单,一次大,事,事故,。,。,。,J Jones,Main大街123号,已婚,。,。,。,J Jones,两个孩,子,子,高血压,。,。,。,人寿保,险,险,汽车保,险,险,房产保,险,险,健康保,险,险,J Jones,女,1945年7月20日出生,去年两,张,张罚单,一次大,事,事故,已婚,两个孩,子,子,高血压,。,。,。,顾客,6.1,.,.2数据仓,库,库中的,数,数据组,织,织,1,数,数据的,粒,粒度,2,数,数据仓,库,库的数,据,据组织,结,结构,3,数,数据的,分,分割,4,数,数据仓,库,库的数,据,据组织,形,形式,5,数,数据仓,库,库的数,据,据组织,模,模式,6,数,数据的,追,追加,1 粒,度,度,粒度,是指,数,数据仓,库,库的数,据,据单位,中,中保存,数,数据的,细,细化或,总,总合程,度,度的级,别,别。,细化程,度,度越高,，,，粒度,级,级就越,小,小；,细,细化程,度,度越低,，,，粒度,级,级就越,大,大。,粒度,细节,的,的级别,粒度的,划,划分决,定,定了数,据,据仓库,中,中数据,量,量的大,小,小和查,询,询的详,细,细程度,。,。,多重粒,度,度,粒度的,一,一个例,子,子,高细化,低细化,每月200个记录,每月40,000个字节,每月一,个,个记录,每月200个字节,通过检,索,索,可以回,答,答,无细节,无法回,答,答,询问某一电话的细节,近期基,本,本数据,：,：是最近,时,时期的,业,业务数,据,据，是,数,数据仓,库,库用户,最,最感兴,趣,趣的部,分,分，数,据,据量大,。,。,历史基,本,本数据,：,：近期基,本,本数据,随,随时间,的,的推移,，,，由数,据,据仓库,的,的时间,控,控制机,制,制转为,历,历史基,本,本数据,。,。,轻度综,合,合数据,：,：是从近,期,期基本,数,数据中,提,提取出,的,的，这,层,层数据,是,是按时,间,间段选,取,取，或,者,者按数,据,据属性,（,（attributes）和内容,（,（contents）进行综,合,合。,高度综,合,合数据,层,层：这一层,的,的数据,是,是在轻,度,度综合,数,数据基,础,础上的,再,再一次,综,综合，,是,是一种,准,准决策,数,数据。,2 数,据,据仓库,的,的数据,组,组织结,构,构,2 数,据,据仓库,的,的数据,组,组织结,构,构,元数据,高度综,合,合级,轻度综,合,合级,(数据集,市,市),销售细,节,节级,2000-2001,操作型,转,转换,早期细,节,节级,每月销,售,售,1994-2001,每周销,售,售,1994-2001,当前细,节,节级,销售细,节,节级,1994-1999,3 分,割,割,分割,将当,前,前细节,数,数据分,散,散到各,自,自的物,理,理单元,中,中去以,便,便能分,别,别独立,处,处理，,以,以提高,数,数据处,理,理效率,。,。,分片,数据,分,分割后,的,的独立,单,单元。,数据的,分,分割提高了,数,数据管,理,理的灵,活,活性,重,重构、,索,索引、,重,重组、,恢,恢复、,监,监控,分割的,标,标准：,日,日期、,地,地域、,业,业务领,域,域。,分割的,一,一个例,子,子,分片9,分片8,分片7,2001,分片6,分片5,分片4,2000,分片3,分片2,分片1,1999,事故保,险,险,生命保,险,险,健康保,险,险,4 数,据,据仓库,的,的数据,组,组织形,式,式,简单堆,积,积数据,轮转综,合,合数据,简化直,接,接数据,连续数,据,据,简单堆,积,积文件,1月1日1月2日1月3日,2月1日2月2日2月3日,3月1日3月2日3月3日,轮转综,合,合文件,星期一,星,星期二星期天,第一周,第,第,二,二周第五周,一月,二,二月十二月,简化直,接,接文件,数据库,快,快照,姓名,顾,顾客,号,号,地,地址,张平C960100北京,王珂C960101上海,刘辉C960102天津,李强C960103成都,.,.,.,一月份,顾,顾客表,操作性,数,数据,生成简,化,化直接,文,文件,连续文,件,件,姓名,顾,顾客,号,号,地,地址,张平C020100北京,王珂C020101上海,张顺C020102天津,李强C020103成都,姓名,顾,顾客,号,号,地,地址,张平C020100北京,王珂C020101上海,张顺C020101广州,李强C020103成都,刘诚C020105杭州,姓名,顾,顾客,号,号,日,日期,地,地址,张平C0201001-2月,北,北,京,京,王珂C0201011-2月,上,上,海,海,张顺C0201031月,天,天,津,津,张顺C0201032月,广,广,州,州,李强C0201031-2月,成,成,都,都,刘诚C0201052月,杭,杭,州,州,1月份顾,客,客表,2月份顾,客,客表,1-2月份顾,客,客表,