商务智能理论与应用1-数据

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,#,商务智能发展背景,伴随着以电子商务为特征的新经济逐步走向成熟，企业需要处理的数据量越来越多，数据库应用的规模、范围和深度不断扩大，已经从点,(,单台机器,),，线,(,局域网,),发展到面,(,网络,),，甚至到因特网全球信息系统。近年来商业条码的推广，企业和政府交易的管理，以及数据采集工具的发展，都提供了巨大规模的数据，在商业管理，政府部门和工业数据处理等领域中应用了数以百万计的数据库。,对于企,业,业来说,，,，这些,数,数据一,方,方面来,自,自与客,户,户间的,交,交易记,录,录，另,外,外，还,可,可能来,自,自企业,内,内部的,管,管理或,生,生产系,统,统，以,及,及从其,他,他途径,搜,搜集到,的,的市场,信,信息、,协,协作伙,伴,伴和竞,争,争对手,的,的信息,等,等。企,业,业急切,地,地希望,通,通过快,速,速处理,这,这些数,据,据获得,有,有利于,企,企业进,一,一步发,展,展的决,策,策依据,，,，而是,否,否能够,最,最大限,度,度地使,用,用信息,资,资源来,管,管理和,影,影响企,业,业决策,流,流程，,将,将决定,企,企业是,否,否能拥,有,有最大,程,程度的,竞,竞争优,势,势。,我国加,入,入世界,贸,贸易组,织,织后，,企,企业不,仅,仅要市,场,场扩大,到,到了全,球,球，同,时,时也要,面,面对来,自,自全球,的,的更多,更,更强的,竞,竞争对,手,手，企,业,业必须,采,采用快,速,速的智,能,能分析,手,手段来,实,实现对,市,市场的,定,定位、,细,细分，,对,对客户,的,的更深,层,层次的,研,研究，,以,以更强,的,的姿态,迎,迎接挑,战,战。,基本教,学,学内容,本课程,主,主要介,绍,绍商务,智,智能的,基,基本概,念,念，基,本,本理论,及,及其应,用,用，同,时,时重点,介,介绍了,相,相关技,术,术，以,及,及在商,务,务决策,中,中的应,用,用。具,体,体的内,容,容包括,数,数据仓,库,库系统,简,简介、,联,联机分,析,析处理,（,（OLAP），数,据,据预处,理,理技术,（,（包括,数,数据清,理,理、数,据,据集成,和,和转换,等,等），,数,数据挖,掘,掘技术,（,（包括,分,分类、,预,预测、,关,关联和,聚,聚类等,）,）以及,数,数据挖,掘,掘方法,（,（包括,决,决策树,方,方法、,统,统计方,法,法、关,联,联规则,挖,挖掘、,神,神经网,络,络和基,于,于案例,推,推理等,）,），并,结,结合案,例,例分析,上,上述方,法,法和技,术,术在商,务,务智能,中,中的应,用,用。,基本要,求,求,目的主,要,要是掌,握,握商务,智,智能的,核,核心技,术,术基础,数据,仓,仓库、OLAP和数据,挖,挖掘的,基,基本概,念,念、技,术,术和方,法,法，并,在,在此基,础,础上应,用,用于相,关,关领域,。,。,熟悉数,据,据库、,数,数据仓,库,库构建,及,及多维,数,数据的,查,查看，,掌,掌握基,本,本数据,挖,挖掘算,法,法的应,用,用,。,教学纲,要,要,商务智,能,能概述,数据库,数据仓,库,库,在线分,析,析处理OLAP技术,数据挖,掘,掘技术,和,和方法,商务智,能,能应用,*,*,教学方,式,式,课堂讲,解,解为主,，,，辅以,上,上机实,验,验和课,堂,堂讨论,。,。,商务智,能,能案例,分,分析,教材与,参,参考书,1赵卫东.商务智,能,能(第三版).北京：,清,清华大,学,学出版,社,社，2013,2赵卫东.流程智,能,能.北京：,清,清华大,学,学出版,社,社，2012,3赵卫东.客户智,能,能.北京：,清,清华大,学,学出版,社,社，2013,数据,DATA,数据是,可,可以记,录,录、通,信,信和能,识,识别的,符,符号，,它,它通过,有,有意义,的,的组合,来,来表达,现,现实世,界,界中的,某,某种实,体,体（具,体,体对象,、,、事件,、,、状态,或,或活动,）,）的特,征,征。,例如：38.2,21,8,信息,INFORMATION,信息是,经,经过某,种,种加工,处,处理后,的,的数据,，,，是反,映,映客观,事,事物规,律,律的一,些,些数据,。,。信息,是,是对数,据,据的解,释,释，数,据,据是信,息,息的载,体,体。,例如：,价,价格：38.2元，,气温：21摄氏度,，,，,长度：8厘米,知识,KNOWLEDGE,知识是,对,对信息,内,内容进,行,行提炼,、,、比较,、,、挖掘,、,、分析,、,、概括,、,、判断,和,和推论,。,。,事实性,知,知识和,经,经验知,识,识（隐,性,性和显,性,性）。,例如：,商,商品价,格,格38.2元很贵,8月的天,气,气是21摄氏度,很,很凉快,零件的,长,长度是8厘米很,短,短,数据-信息-知识,Sender,Receiver,处理,数据,信息,知识,一个人,的,的垃圾,（,（数据,）,）是另,一,一个人,的,的财富,（,（信息,）,）,案例,什,什么是,数,数据信,息,息和知,识,识,数据：37.5,通过这,个,个你能,看,看出什,么,么吗？,估,估计很,难,难？,信息：,姓名：,陈,陈浩,年龄：5岁,时间：2014年6月8日13点20分,腋下体,温,温：37.5度,环境：,孩,孩子在,楼,楼下玩,，,，回来,后,后看到,脸,脸特别,红,红，测,量,量体温,为,为37.5度,这个时,候,候，这,个,个37.5有意义,了,了，一,个,个小孩,在,在夏天,午,午后玩,了,了后测,试,试的体,温,温。在,这,这样的,背,背景下,，,，37.5成为了,有,有意义,的,的信息,中,中的一,个,个关键,指,指标。,知识,如果体,温,温在36.937.5之间，,则,则正常,，,，称为,基,基础体,温,温。,如果体,温,温超过,基,基础体,温,温1以上时,，,，则为,发,发热。,如果体,温,温波动,于,于38左右，,则,则为低,热,热。,如果体,温,温在39以上，,则,则为高,热,热。,如果连,续,续发热,两,两个星,期,期以上,，,，则为,长,长期发,热,热。,判断(知识应,用,用)：,是不是,孩,孩子在,下,下面玩,的,的比较,热,热，穿,的,的比较,多,多？,是否可,以,以先脱,点,点衣服,观,观察一,小,小时后,再,再测量,？,？,决策：,1个小时,后,后，再,测,测量。,结果,:,体温回,落,落到36.8度，正,常,常范围,，,，不用,去,去医院,。,。,数据信,息,息知识,总,总结,数据：,单纯的数据没有意义，不能直接帮助决策。,信息：,信息是赋予了数据一环境。,知识：,从信息中得到，经过实践证明的、可以用来辅助决,策和行动。,这个例子中只包含了显性知识，如果小孩的发烧在经过各种检查后仍然找不到原因，则需要专家会诊，要看既往的病史、家族的病史加上医生的综合判断，就要使用医生的隐性知识。,数据,数据可,以,以记录,历,历史资,料,料，可,以,以记录,事,事件过,程,程，可,以,以表示,事,事物特,征,征。对,于,于人类,生,生存、,发,发展、,创,创新有,着,着至关,重,重要的,作,作用。,体检指,标,标，商,品,品价格,，,，股票,价,价格，,财,财务数,据,据，GDP等等都,属,属于数,据,据。,对于企,业,业而言,数,数据就,是,是生产,，,，经营,，,，战略,，,，几乎,所,所有的,经,经营活,动,动都依,赖,赖数据,，,，不可,或,或缺。,对于政,府,府而言,，,，数据,就,就是社,会,会各类,经,经济社,会,会活动,的,的表现,。,。,有了数,据,据的记,录,录与使,用,用，才,有,有了社,会,会的发,展,展。,信息时,代,代数据,的,的表现,形,形式,数据的,潜,潜在价,值,值,数据的,真,真实价,值,值就像,漂,漂浮在,海,海洋中,的,的冰山,，,，第一,眼,眼只能,看,看到冰,山,山一角,，,，而绝,大,大部分,则,则隐藏,在,在表面,之,之下,如何使,用,用数据,数据再,利,利用,数据再,利,利用是,指,指企业,对,对历史,数,数据进,行,行重新,的,的整理,分,分析，,为,为今后,的,的业务,提,提供决,策,策支持,。,。,有些公,司,司由于,业,业务开,展,展时间,较,较长，,会,会收集,到,到大量,的,的数据,，,，但是,如,如果他,们,们并不,急,急需使,用,用，或,并,并不擅,长,长再次,利,利用这,些,些数据,，,，就会,使,使这些,数,数据长,期,期的挤,压,压起来,，,，直到,业,业务环,境,境彻底,变,变化，,而,而失去,可,可利用,的,的价值,。,。保存,旧,旧信息,的,的计算,机,机就是,“,“数据,坟,坟墓”,。,。,数据再,利,利用适,合,合于控,制,制着大,型,型数据,集,集运作,的,的传统,企,企业。,比,比如移,动,动电话,运,运营商,收,收集用,户,户的位,置,置信息,来,来传输,电,电话信,号,号。对,于,于移动,电,电话运,营,营商来,讲,讲，这,些,些数据,的,的任务,已,已经完,成,成，但,是,是对于,一,一些广,告,告公司,来,来说，,这,这些数,据,据非常,有,有价值,，,，可以,用,用于发,布,布位置,广,广告进,行,行促销,活,活动。,付费通,数,数据再,利,利用案,例,例,数据的,重,重组,数据重,组,组是将,两,两组和,多,多组不,同,同内容,数,数据集,结,结合起,来,来进行,分,分析。,统计学,中,中的关,联,联分析,，,，回归,分,分析，,就,就可以,用,用于对,不,不同数,据,据集的,结,结合分,析,析。,比如丹,麦,麦拥有1990-2007年间所,有,有手机,用,用户的,相,相关信,息,息，共,涉,涉及358403人。同,时,时记录,了,了该期,间,间10729名中枢,神,神经系,统,统疾病,患,患者相,关,关信息,。,。研究,人,人员试,图,图通过,对,对这两,个,个数据,集,集的关,联,联分析,来,来推断,：,：,手机用,户,户是否,比,比非手,机,机用户,显,显示出,较,较高的,中,中枢神,经,经系统,疾,疾病发,病,病率？,使用手,机,机时间,较,较长的,用,用户是,否,否比时,间,间较短,的,的用户,更,更容易,患,患病？,两个数,据,据集都,采,采用了,严,严格的,质,质量标,准,准，几,乎,乎包括,了,了几乎,所,所有移,动,动用户,和,和病患,的,的相关,信,信息，,属,属于全,样,样本分,析,析，分,析,析结果,较,较抽样,分,分析更,加,加准确,。,。,央行支,付,付数据,与,与区域,经,经济关,系,系分析,案,案例,可扩展,的,的数据,扩展数,据,据是指,一,一些具,有,有基本,用,用途的,数,数据，,还,还可以,进,进行扩,展,展，二,次,次使用,。,。如果,以,以某种,方,方式收,集,集的单,一,一数据,集,集有多,种,种不同,的,的用途,，,，它就,具,具有双,重,重功能,。,。,收集多,个,个数据,流,流或每,个,个数据,流,流中更,多,多数据,点,点的额,外,外成本,往,往往较,低,低，因,此,此，收,集,集尽可,能,能多的,数,数据并,在,在一开,始,始的时,候,候就考,虑,虑到各,种,种潜在,的,的二次,用,用途并,使,使其具,有,有扩展,性,性是非,常,常有意,义,义的。,比如谷,歌,歌公司,的,的谷歌,地,地图不,仅,仅拍摄,房,房屋和,街,街道的,照,照片，,同,同时还,采,采集了GPS数据。,不,不仅充,实,实了其,地,地图服,务,务，而,且,且对交,通,通导航,也,也有很,大,大的帮,助,助。,废弃数,据,据再利,用,用,废弃数,据,据是指,在,在使用,过,过程中,产,产生，,但,但是却,对,对最终,结,结果没,有,有价值,的,的数据,。,。但是,这,这些数,据,据往往,同,同最终,结,结果具,有,有一定,的,的相关,性,性，能,够,够反映,出,出使用,者,者的一,些,些意图,。,。,例如，,人,人们经,常,常想搜,索,索某个,内,内容，,点,点击进,入,入后却,未,未能找,到,到想要,的,的信息,，,，于是,又,又返回,到,到搜索,页,页面继,续,续搜索,。,。但是,这,这个访,问,问痕迹,却,却已经,被,被记录,下,下来。Google认为这,些,些信息,是,是非常,有,有价值,的,的。如,果,果许多,用,用户都,点,点击这,个,个链接,，,，就表,明,明这个,尝,尝试和,结,结果更,加,加具有,相,相关性,，,，可以,及,及时调,整,整，提,高,高搜索,的,的效率,。,。,数据的,分,分析,目的,让数据,说,说话；,行动的,向,向导；,杜绝浪,费,费；,提供决,策,策的依,据,据。,分类,描述性,数,数据分,析,析,预测性,数,数据分,析,析,什么是,数,数据分,析,析？,数据分,析,析是指,适,适当的统计分,析,析方法对,收,收集来,的,的大量,数,数据进,行,行分析,，,，将它,们,们加以,汇,汇总、,理,理解并,消,消化。,以,以求最,大,大化地,开,开发数,据,据的功,能,能，发,挥,挥数据,的,的作用,。,。,数据分,析,析的目,的,的,数据分,析,析的目,的,的是把,隐,隐藏在,一,一大批,看,看似杂,乱,乱无章,的,的数据,背,背后的,信,信息集,中,中和提,炼,炼出来,，,，总结,研,研究对,象,象的内,在,在规律,。,。,简单的,数,数据分,析,析,数据分,析,析步骤,：,：,明确分,析,析目的,和,和内容,数据采,集,集,数据处,理,理,根据研,究,究目标,和,和内容,进,进行分,析,析,分析出,的,的结果,通,通过图,表,表的方,式,式展现,出,出来,撰写数,据,据分析,报,报告,数据分,析,析中经,常,常用到,的,的指标,或,或术语,，,，除掌,握,握最基,本,本的平,均,均数、,百,百分比,等,等概念,以,以外，,还,还需要,将,将容易,混,混淆的,指,指标进,行,行明确,区,区分，,避,避免在,以,以后阐,述,述分析,结,结果时,出,出现错,误,误。,常用指,标,标或术,语,语,平均数,绝对数,与,与相对,数,数,百分比,与,与百分,点,点,频数与,频,频率,比例与,比,比率,倍数与,番,番数,同比与,环,环比,平均数,绝对数,与,与相对,数,数,绝对数,：,：是反映,客,客观现,象,象总体,在,在一定,时,时间、,地,地点条,件,件下的,总,总规模,、,、总水,平,平的综合指,标,标。也是,数,数据分,析,析中常,用,用的指,标,标，如,：,：GDP、总人,口,口数等,。,。,相对数,：,：是指两个有,联,联系的,指,指标对,比,比计算,而,而得到,的,的数值,，,，用于,反,反映客,观,观现象,之,之间数,量,量联系,程,程度的,综,综合指,标,标。计,算,算相对,数,数的基,本,本公式,：,：,比较数,值,值（比,数,数）,相,相,对,对数= ,基础数,值,值（基,数,数）,分母是,用,用做对,比,比标准,的,的指标,数,数值，,简,简称基,数,数；分,子,子是用,做,做与基,数,数对比,的,的指标,数,数值，,简,简称比,数,数。相,对,对数一,般,般以倍,数,数、成,数,数、百,分,分数等,表,表示，,它,它反映,了,了客观,现,现象之,间,间数量,联,联系的,程,程度。,使用相,对,对数时,需,需要注,意,意指标,的,的可比,性,性，同,时,时要与,总,总量指,标,标（绝,对,对数）,结,结合使,用,用。,百分比,与,与百分,点,点,百分比,是,是相对,数,数中的,一,一种，,它,它表示,一,一个数,是,是另一,个,个数的,百,百分之,几,几，也,称,称百分,率,率或百,分,分数。,百分点,是,是指不,同,同时期,以,以百分,数,数的形,式,式表示,的,的相对,指,指标的变动幅,度,度，1个百分,点,点=1%。例如,，,，下图,某,某公司,发,发言人,就,就混淆,了,了百分,比,比与百,分,分点的,概,概念。,表示构,成,成的变,动,动幅度,不,不宜用,百,百分数,，,，而应,该,该用百,分,分点。,因,因此，,这,这位公,司,司发言,人,人正确,的,的说法,应,应该是,“,“公司,今,今年的,利,利润是45%，比去,年,年的28%提高了17个百分点”。,频数与,频,频率,频率是,每,每组类,别,别次数,与,与总次,数,数的比,值,值，它,代,代表某,类,类别在,总,总体中,出,出现的,频,频繁程,度,度，一,般,般采用,百,百分数,表,表示，,所,所有组,的,的频率,加,加总等,于,于100,%,%。某校A班30个男同,学,学在50个同学,中,中出现,的,的频率,为,为60%，即（3050）X100%；而20个女同,学,学在50个同学,中,中出现,的,的频率,为,为40%，即（2050）X100%。,频数也,称,称次数,。,。在一,组,组依大,小,小顺序,排,排列的,测,测量值,中,中，当,按,按一定,的,的组距,将,将其分,组,组时，,出,出现在,各,各组内,的,的测量,值,值的数,目,目，即,为,为该组,的,的频数,，,，频数,与,与总数,的,的比为,频,频率。,频数越,大,大表明,该,该组标,志,志值对,于,于总体,水,水平所,起,起的作,用,用也越,大,大，反,之,之，表,明,明该组,标,标志值,对,对于总,体,体水平,所,所起的,作,作用越,小,小。,在10次掷硬,币,币中，,有,有4次正面,朝,朝上，,我,我们说,这,这10次试验,中,中正,面,面朝上,的频,数,数是4。,累积频,数,数就是,将,将各类,别,别的频,数,数逐级,累,累加起,来,来,比例与,比,比率,比例是,指,指在总,体,体中各,部,部分的,数,数值占,全,全部数,值,值的比,重,重，通,常,常反映,总,总体的,构,构成和,结,结构。,比,比如，A班共有,学,学生50人，男,生,生30人，女,生,生20人，则,男,男生的,比,比例是30/50，女生,的,的比例,是,是20/50。由此,可,可以看,出,出，比,例,例的基,数,数（也,就,就是分,母,母）都,是,是全体,学,学生人,数,数，即,为,为同一,个,个基数,。,。,比率是,指,指不同,类,类别数,值,值的对,比,比，它,反,反映的不是部,分,分与整,体,体之间的关系,，,，而是,一,一个整,体,体中各,部,部分之,间,间的关,系,系。比,如,如刚才,的,的例子,，,，男生30人，女,生,生20人，则,男,男生与,女,女生的,比,比率是30/20。这一,指,指标经,常,常会用,在,在社会,经,经济领,域,域，比,如,如我国,的,的人口,性,性别比,就,就是用,每,每100名女性,数,数量相,对,对的男,性,性数量,来,来表示,的,的。,倍数与,番,番数,倍数与,番,番数同,样,样属于,相,相对数,，,，但使,用,用时容,易,易混淆,。,。倍数,是,是一个,数,数除以,另,另一个,数,数所得,的,的商。,比,比如ABC，就是,说,说A是B的C倍。需,要,要注意,的,的是，,倍,倍数一,般,般是表,示,示数量,的,的增长,或,或上升,幅,幅度，,而,而不适用,于,于表示,数,数量的,减,减少或,下,下降。,番数是,指,指原来,数,数量的2的N次方倍,。,。比如,翻,翻一番,为,为原来,数,数量的2倍（,21,），翻,两,两番为4倍（,22,）。,正确的,说,说法：,公,公司产,品,品销量,翻,翻一番,（,（6.4,=,=3.2X21），从,去,去年的3.2万件提,高,高到今,年,年的6.4万件。,此,此外，,我,我们成,本,本控制,也,也很好,，,，由20万元下,降,降了50%，今年,成,成本为10万元,同比与,环,环比,同比是,指,指与历,史,史同时,期,期进行,比,比较得,到,到的数,值,值，该,指,指标主,要,要反映,的,的是事,物,物发展,的,的相对,情,情况。,例,例如2010年12月与2009年12月相比,，,，如左,图,图所示,。,。,环比是,指,指与前,一,一个统,计,计期进,行,行比较,得,得到的,数,数值，,该,该指标,主,主要反,映,映的是,事,事物逐,期,期发展,的,的情况,。,。例如2010年12月与2010年11月相比,，,，如右,图,图所示,。,。,