数据与商务智能概述

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,数据分析与商务智能,管理科学与工程系,安利平,教学内容,数据分析与商务智能概述,数据仓库与,OLAP,基础,数据仓库的设计与,OLAP,建模,数据挖掘的过程与算法,主要参考书,1.W H Inmon,著,.,数据仓库,.,机械工业出版社,.,2.,林宇 编著,.,数据仓库原理与实践,.,人民邮电出版社,.,3.Jiawei Han,Micheline Kamber,著,.,数据挖掘概念与技术,.,机械工业出版社,.,4.,（美）谭,（美）斯坦巴赫 著,范明 等译,数据挖掘导论,.,人民邮电出版社,.,5.,（美）贝里,（美）利诺夫 著,袁卫 等译,.,数据挖掘,客户关系管理的科学与艺术,.,中国财经出版社,.,软件,主要软件参考书,案例,1.,电信公司的数据仓库建设,2.Data mining for decision support on customer insolvency in telecommunications business,商务智能概述,为什么出现商务智能？,Why,企业经营管理活动对商务智能的需求,如何理解商务智能,?What,商务智能如何实现,?How,商务智能的技术构成,1,企业对商务智能的需求,商务工具的变迁,企业信息化系统的进化,商务工具的变迁,伴随着商务工具的变迁，人们,处理信息的能力,在工具的帮助下变得越来越强大，,信息量的增长,也越来越快。,电报,电话,传真机,计算机,互联网,商务工具的变迁,在,20,世纪初，或者即使到了,20,世纪中叶，没有一个公司的账目、订货记录和文件柜的数据总和能超过几十个百万字节,(megabytes),。,穿孔纸带,商务工,具,具的变,迁,迁,计算机,在商业,领,领域的,应,应用，,标,标志着,商,商业活,动,动真正,进,进入信,息,息化时,代,代，信,息,息处理,的,的方式,发,发生了,革,革命性,的,的变化,。,。,商业单,据,据的电,子,子化,MIS(,管理信,息,息系统,),广泛应,用,用,数据处,理,理方式,以,以数据,库,库为主,商务工,具,具的变,迁,迁,互联网,在商业,活,活动中,的,的应用,，,，在信,息,息增长,和,和信息,处,处理方,式,式上也,发,发生了,前,前所未,有,有的变,化,化。,每个,邮件,在递送,过,过程中,都,都要对,条,条形码,进,进行多,次,次扫描,；,；,统计控,制,制过程,通,通过成,千,千上万,个,个传感,器,器不断,读,读取和,记,记录,生产过,程,程,数据；,电话系,统,统要跟,踪,踪每一,个,个,电话,的开始,时,时间、,持,持续时,间,间和网,络,络路线,等,等；,顾客在,网,网络上,的,的每一,次,次链接,及,及看过,的,的每一,件,件,商品,都被记,录,录下来,。,。,商务工,具,具的变,迁,迁,今天，,最,最大的,公,公司数,据,据库容,量,量是用,万,万亿字,节,节,(terabytes),来计量,的,的。,对于这,些,些公司,来,来说，,数,数据的,增,增长是,以,以,10,万倍来,计,计量的,。,。,商务工,具,具的变,迁,迁,多数情,况,况下，,数,数据的,搜,搜集是,为,为了提,高,高内在,操,操作的,效,效率，,并不是,为,为了分,析,析或者,为,为了建,立,立预测,模,模型,。,数据一,旦,旦积累,起,起来，,就,就成为,信息财,富,富,。这些,财,财富可,被,被用来,改,改进每,个,个领域,的,的决策,。,。,人们已,不,不再满,足,足于简,单,单的数,据,据操作,，,，产生,了,了进一,步,步使用,现,现有数,据,据的要,求,求。,商务工,具,具的变,迁,迁,利用现,有,有的数,据,据进行,分,分析和,推,推理，,从,从而为,决,决策提,供,供依据,。,。,谁是高,价,价值的,客,客户？,谁,谁将成,为,为高价,值,值客户,？,？,什么产,品,品可以,交,交叉销,售,售或提,升,升销售,？,？,公司明,年,年的收,入,入前景,如,如何？,这种需,求,求既要,求,求联机,服,服务，,又,又涉及,大,大量的,数,数据。,商务工,具,具的变,迁,迁,传统的,数,数据库,技,技术已,无,无法满,足,足这种,需,需求，,具,具体体,现,现在以,下,下三方,面,面：,决策所,需,需的历史数,据,据量很,大,大，而传,统,统的数,据,据库一,般,般只存,储,储短期,数,数据。,辅助决,策,策的信,息,息涉及许多部,门,门的数,据,据，而不,同,同系统,的,的数据,难,难以集,成,成。,由于访问数,据,据库的,能,能力不,足,足，它对,大,大量数,据,据的访,问,问性能,明,明显下,降,降。,如何将,数以百,万,万计,的网络,文,文件、,电,电话记,录,录、销,售,售细目,文,文件记,录,录变成,可,可利用,的,的,信息和,知,知识,？,企业信,息,息系统,的,的进化,管理信,息,息系统,和,和企业,资,资源计,划,划系统,管理信,息,息系统,和,和企业,资,资源计,划,划系统,积,积累了,大,大量的,历,历史数,据,据。,不同历,史,史时期,的,的数据,根据不,同,同业务,需,需要的,数,数据,由不同,供,供应商,提,提供的,数,数据,体系结,构,构和管,理,理实施,等,等方面,存,存在着,较,较大的,差,差异,数据相,对,对分散,和,和独立,，,，难以,共,共享,没有建,立,立起统,一,一的能,用,用于分,析,析处理,的,的基础,数,数据平,台,台,管理信,息,息系统,和,和企业,资,资源计,划,划系统,明确整,个,个企业,中,中的业,务,务数据,和,和相互,关,关系是,有,有较大,困,困难的,。,。,百家争,鸣,鸣、百,花,花齐放,的,的管理,系,系统数,据,据,共有多,少,少个三,角,角形,?,商务智,能,能系统,来自,不同系,统,统,的,大量数,据,据,中往往,隐,隐藏着,重,重要的,规律和,商,商业规,则,则,，这些,是,是企业,管,管理者,需,需要寻,找,找的“,金,金矿”,。,。,此“金,矿,矿”的,挖,挖掘过,程,程就是,“,“,数据,信息,知识,智慧,”的转,化,化过程,。,。,商务智,能,能系统,数据,信息,知识,智慧,信息分析,辅助决策,数据处理,商务智,能,能系统,如果将,知,知识用,在,在辅助,企,企业经,营,营管理,决,决策中,，,，那么,这,这种智,慧,慧就可,以,以称为,商,商业智,慧,慧，也,就,就是商,业,业智能,，,，或者,叫,叫,商务智,能,能,。,BusinessIntelligence,BI,商务智,能,能的,2,个层次,第,1,个层次,：,：,在整合,系,系统数,据,据的基,础,础上提,供,供灵活,的,的前端,展,展现。,例如，,通,通过直,方,方图等,形,形式表,现,现来自,销,销售管,理,理系统,的,的地区,销,销售情,况,况报表,。,。,商务智,能,能的,2,个层次,经过数,据,据整合,的,的,BI,系统功,能,能,现在有,多,多少个,三,三角形,?,数据仓,库,库,Data Warehouse,DW,联机分,析,析处理,On-Line AnalyticalProcessing,OLAP,商务智,能,能的,2,个层次,第,2,个层次,：,：数据库,中,中的知,识,识发现,。,。,数据库,的,的爆炸,性,性增长,已,已远远,超,超出了,能,能够解,释,释和消,化,化这些,数,数据的,能,能力，,需,需要新,一,一代的,工,工具和,技,技术对,数,数据库,进,进行自,动,动和智,能,能地分,析,析。这,些,些工具,和,和技术,正,正是,知识发,现,现,。,知识发,现,现的主,要,要技术,构,构成就,是,是,数据挖,掘,掘。,KnowledgeDiscovery in Database,，,KDD,Data Mining,，,DM,商务智,能,能的,2,个层次,历史数据,预测数据,？,加入智,能,能挖掘,算,算法的,系,系统功,能,能,最后一,个,个框中,应,应该有,多,多少个,三,三角形,?,商务智,能,能的,2,个层次,例如，,通,通过对,销,销售数,据,据的分,析,析，发,现,现一条,关,关联规,则,则：,这条规,律,律对于,商务的,智,智能化,和,和决策,的,的科学,化,化,将有重,要,要的意,义,义。,购买面,包,包,and,购买黄,油,油,90,购买,牛,牛奶,2,商务智能的,技,技术构成,什么是商务,智,智能,商务智能的,结,结构描述,商务智能工,具,具,SQL Server2005,的商务智能,构,构架,什么是商务,智,智能,1.Microsoft,努力,2.SAS,智能和知识,3.DMReview,过程,4.Gartner,、,IDC,、,IBM,、,SAP,和,MSTR,工具和技术,集,集合,商务智能的,结,结构描述,商务智能的,实,实现包含了,“数据,信息,知识,行动,智慧”,这一过程所,运,运用的,技术和方法,。,数据仓库,联机分析处,理,理,(OLAP),数据挖掘,模型库和方,法,法库,抽取,转换,清洗,过滤,转载,数据仓库,数据集市,数据集市,数据集市,数据挖掘,OLAP,数据报表,前,端,展,现,工,具,数据源,ETL,过程,数据仓库及其应用,BI,前端展现,外部数据,业务系统,数据,文档资料,商务智能的,结,结构描述,商务智能系,统,统工作过程,的,的,技术抽象,源数据层,数据转换层,数据仓库,(,数据集市,),层,OLAP,数据挖掘层,用户展现层,商务智能的,结,结构描述,商务智能系,统,统工作过程,的,的,技术抽象,源数据层,数据转换层,数据仓库,(,数据集市,),层,OLAP,数据挖掘层,用户展现层,数据挖掘和,商,商务智能工,具,具,公司名称,ETL,工具,数据仓库管理,OLAP,工具,数据挖掘工具,报表工具,IBM,Warehouse,Manager,Visual Warehouse,OLAP,Server,Intelligent Miner,Insight&Qucik view,Oracle,Oracle ETL Server,Enterprise Manager,Express,Server,Darwin,Express,Analyser,Sybase,Replication Server PowerStage,Warehouse Studio,Warehouse Analyzer,SAS SPSS,InfoMaker,CA,InfoPump,PLATINUM ERWin,PLATINUM,InfoPump,DecisionBase,InfoBeacon,Neugent Aion,Forest&Trees,InfoReprots,SAS,第三方,Warehouse Administrator,SAS MDDB,Enterprise Miner,EIS ER,Microsoft,SSIS,SQL Server,SSAS,SSAS,SSRS,SQL Server2005,的商务智能,构,构架,SQL Server2005,的两大体系,数据库管理,商务智能应,用,用,SQL Server2005,的商务智能,构,构架,整合,服务,数据库引擎,分析,服务,报告,服务,复制服务,全文检索服务,服务代理,通知服务,数,据,库,管,理,部,分,商,业,智,能,应,用,部,分,SQL Server2005,的商务智能,构,构架,SQL Server2005,的商务智能,三大服务,SQL Server2005AnalysisServices(SSAS),SQL Server2005Integration Services(SSIS),SQL Server2005ReportingServices(SSRS),一个工具,Business Intelligence Development Studio,SQL Server200