商务智能概论绪论

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,#,商务智能概论,Introduction to Business Intelligence,赵卫东,博士,复旦大学软件学院,wdzhao,基本内,容,容,本课程,主,主要介,绍,绍数据,仓,仓库与,数,数据挖,掘,掘的基,本,本概念,、,、基本,方,方法以,及,及在商,务,务决策,中,中的应,用,用。,强化基,础,础，偏,重,重应用,。,。,基本要,求,求,目的主,要,要是掌,握,握商务,智,智能的,核,核心技,术,术基础,数据,仓,仓库、OLAP和数,据,据挖掘,的,的基本,概,概念、,技,技术和,方,方法，,并,并在此,基,基础上,应,应用于,相,相关领,域,域。考,虑,虑商务,智,智能的,跨,跨学科,性,性（统,计,计学、,人,人工智,能,能、企,业,业管理,和,和数据,库,库），,学,学习本,课,课程前,要,要求学,员,员预修,统,统计学,、,、高级,数,数据库,系,系统等,课,课程。,跨学科,性,性：统,计,计学、,数,数据库,和,和人工,智,智能,教学纲,要,要,商务智,能,能概述,在线分,析,析处理OLAP技术,数据挖,掘,掘技术,和,和方法,*,*,数据挖,掘,掘过程,数据仓,库,库,商务智,能,能应用,*,*,教学方,式,式,课堂讲,解,解为主,，,，辅以,上,上机实,验,验、企,业,业专业,人,人士讲,座,座和课,堂,堂讨论,（,（研讨,）,）。,考核方,式,式,成绩的,评,评定主,要,要考虑,以,以下因,素,素：平,时,时表现,（,（出勤,、,、研讨,等,等）、,课,课程论,文,文以及,相,相关认,证,证（例,如,如IBM CertifiedSolutionDesigner,705认证,考,考试）,。,。,教材与,参,参考书,概念解,析,析,何谓智,能,能？企,业,业有智,能,能吗？,智能的,表,表现,信息共,享,享和企,业,业信息,集,集成,知识挖,掘,掘与管,理,理,企业不,管,管大小,，,，都必,须,须对瞬,息,息万变,的,的市场,情,情况做,出,出及时,、,、高效,地,地反应,，,，而这,些,些反应,都,都必须,建,建立在,对,对全面,、,、准确,和,和及时,的,的信息,基,基础上,。,。,快吃慢,智能型,企,企业表,现,现为反,应,应迅速,、,、适应,顾,顾客变,化,化的需,要,要和采,取,取正确,的,的顾客,解,解决方,案,案。,随需应,变,变,数据,数据,数据是,可,可以记,录,录、通,信,信和能,识,识别的,符,符号，,它,它通过,有,有意义,的,的组合,来,来表达,现,现实世,界,界中的,某,某种实,体,体（具,体,体对象,、,、事件,、,、状态,或,或活动,）,）的特,征,征。,商务智,能,能技术,可,可以分,析,析结构,化,化数据,、,、半结,构,构化数,据,据以及,非,非结构,化,化数据,、,、静态,的,的历史,数,数据和,动,动态数,据,据流等,各,各种类,型,型的数,据,据。,数据：,符,符号、,事,事实和,数,数字,HappyNewYear!,Howare You?,事物运动,数据,信息,记录,解释,Discrete,objective facts about theworld,Easilystructuredandcaptured,Easilytransferred,信息：,有,有用的,数,数据,Sender,Receiver,处理,数据,信息,知识,一个人,的,的垃圾,（,（数据,）,）是另,一,一个人,的,的财富,（,（信息,）,）,Data endowedwithrelevanceand purpose,信息是,经,经过某,种,种加工,处,处理后,的,的数据,，,，是反,映,映客观,事,事物规,律,律的一,些,些数据,。,。数据,是,是信息,的,的载体, 信,息,息是对,数,数据的,解,解释。,决策离,不,不开信,息,息,同一事,物,物的信,息,息对于,不,不同的,个,个人或,群,群体具,有,有不同,的,的意义,。,。信息,的,的效用,在,在于对,决,决策的,影,影响。,高,高层决,策,策、中,层,层管理,、,、基层,运,运营都,要,要决策,。,。,越来越,多,多的人,从,从事与,信,信息有,关,关的工,作,作，信,息,息产业,将,将成为,全,全球最,大,大产业,。,。首席,信,信息官CIO,(,(ChiefInformation Officer,),) 成,为,为企业,继,继 CEO、CFO,之,之后又,一,一重要,职,职位。,70%ofemployeetimespentsearchingfor relevant information,Most Business Users Dont HaveConfidenceinInfo!,43%ofuserssay they,renot sureifinternalinformationisaccurate,77%saidbaddecisions hadbeen madebecauseoflack of information,BusinessWeek study,2005,知识,Informationfrom thehumanmind (includesreflection,synthesis,),)，知识是,对,对信息,内,内容进,行,行提炼,、,、比较,、,、挖掘,、,、分析,、,、概括,、,、判断,和,和推论,。,。,事实性,知,知识和,经,经验知,识,识（隐,性,性和显,性,性）。,洞察力,（,（insight）,Requiresreflection andsynthesis,Difficulttostructure,capture,Oftentacit,信息和,知,知识隐,藏,藏在数,据,据中,商务智,能,能要求,有,有一个,坚,坚固、,可,可靠的,大,大型数,据,据库作,后,后盾，,建,建立这,样,样一个,数,数据库,的,的任务,是,是极其,艰,艰巨的,。,。数据,的,的质量,问,问题也,是,是令人,头,头疼而,又,又不可,以,以掉以,轻,轻心的,。,。,虽然数,据,据是宝,贵,贵的财,富,富，然,而,而许多,公,公司并,不,不能充,分,分利用,这,这种财,富,富，因,为,为信息,隐,隐藏在,数,数据中,，,，并不,易,易识别,。,。,为了在,竞,竞争中,占,占得优,势,势地位,，,，必须识,别,别和应,用,用隐藏,在,在所收,集,集的数,据,据中的,信,信息。,挖掘,管理就,是,是决策,决策需,要,要信息,，,，更离,不,不开知,识,识。知,识,识更多,地,地表现,为,为经验,学习,的,的结晶,。,。学习,的,的过程,是,是不断,地,地对信,息,息加工,处,处理。,信,信息的,收,收集、,加,加工、,传,传输与,利,利用贯,穿,穿着决,策,策各阶,段,段的工,作,作过程,。,。,信息已,成,成为企,业,业经营,中,中重要,性,性仅次,于,于人才,的,的第二,大,大要素,。,。,决策=,信,信息+,经,经验+,冒,冒险,商务智,能,能是对,企,企业信,息,息的科,学,学管理,。,。,决策需,要,要信息,与,与知识,情报阶段：,确定问题,设计阶段：,找出解决方案,选择阶段：,选出解决方案,实施阶段：,实施方案,返回情,报阶段,返回设,计阶段,返回选,择阶段,决策过程的四个阶段,决策的过程,发现那些需要引起注意的征兆并加以解释,如,销售滑坡、生产成本猛涨、老顾客对新产品的,需求、新竞争对手带来的威胁等。,最优,方案由多种因素决定，如成本、,实施的难易程度、对员工的要求、方案,实施的时间顺序等。,执行选中的方案，,检测实施的结果，,并作出必要的调整。,高效消,费,费者响,应,应 (ECR,),),及 时、 准 确和无 纸 的 信 息 流 通,流 畅， 不 间 断 的 产 品 流 通， 满 足 消 费 者 的 需 求,供应 商,零 售 商,商店,消 费 者,ERP /CM,企业资源计划管理,品类管理,SCM,供应链管理,CRM,客户关系管理,POS,销售时点系统,商业企,业,业,信息系,统,统,数据爆,炸,炸，知,识,识贫乏,苦恼:,淹,淹没,在,在数据,中,中，不,能,能制定,合,合适的,决,决策!,数据,知识,决策,模式,趋势,事实,关系,模型,关联规则,序列,目标市场,资金分配,贸易选择,在哪儿做广告,销售的地理位置,金融,经济,POS,人口统计,生命周期,DoYouTrustYourInformation?,They spend as muchas30,%,% of their workweek verifyingtheaccuracyand qualityofthe datatheyusetomakedecisionsintheirjob,Upto75%havemade business decisionsthat later turnedouttobewrongdue to flaweddata,*Basedonarecentsurvey of information workersinthe US,GreatBritain,France, andGermany,commissionedbyBusinessObjectsandconducted by HarrisInteractive,June2006,OfInformationWorkers Surveyed*,Only about 10%alwayshaveallthe information theyneedtoconfidentlymake business decisions,信息流,畅,畅通了,还,还需要？,ERP,企业资源规划系统,SCM,供应链管理,商务智能BI（business intelligence）,B2B、B2C,CRM,Internet等基础设施,数据,新一代,决,决策支,持,持系统,交易处,理系统,DSS软件系统模式,OLAP工具,资料挖掘工具,外部资料,使用者,使用者界面,DSS,资料库,数据导,向,向型决,策,策支持,系,系统：,事,事务处,理,理系统,等,等搜集,的,的大量,数,数据，,隐,隐藏对,决,决策有,用,用的模,式,式和规,则,则，可,以,以用统,计,计方法,、,、OLAP和,数,数据挖,掘,掘等分,析,析得到,，,，以辅,助,助决策,分,分析用,。,。,商务智,能,能,BusinessIntelligenceisaprocess of turningdatainto knowledgeandknowledge intoaction forbusinessgainData WarehouseInstitute,.,.,商务智,能,能是企,业,业利用,现,现代信,息,息技术,收,收集、,管,管理和,分,分析结,构,构化和,非,非结构,化,化的商,务,务数据,和,和信息,，,，创造,和,和累计,商,商务知,识,识和见,解,解，改,善,善商务,决,决策水,平,平，采,取,取有效,的,的商务,行,行动，,完,完善各,种,种商务,流,流程，,提,提升各,方,方面商,务,务绩效,，,，增强,综,综合竞,争,争力的,智,智慧和,能,能力-,王,王茁专,著,著三位,一,一体的,商,商务智,能,能.,商务智,能,能不是,通,通常的,业,业务处,理,理。它,的,的目标,是,是如何,更,更快、,更,更容易,地,地做更,好,好的决,策,策。,IBM,商,商务智,能,能解决,方,方案远,远,远不只,是,是数据,和,和技术,的,的组合,，,，BI,帮,帮助用,户,户获得,正,正确的,数,数据，,发,发现它,的,的价值,，,，并共,享,享价值,。,。,商务智,能,能的价,值,值,Tosupport decision makingatalllevels of business managementbasedonthe facts and,(,(scientific)predictionsofcurrentandfuture business situationsthatareobtainedfromintelligentanalysisofhistorical business data,.,.,Businessdecisionsmadewith BI supportare more,Correct,Accurate,Objective,Timely,商务智,能,能的驱,动,动力,在商务,智,智能背,后,后有一,些,些商业,驱,驱动力,，,，例如,：,：,增加收,入,入，减,少,少费用,和,和更有,效,效地竞,争,争的需,求,求。,管理和,模,模拟当,前,前商业,环,环境复,杂,杂性的,需,需求。,减少IT费用,和,和利用,已,已有公,司,司业务,信,信息的,需,需求。,商务智,能,能如何,创,创造知,识,识和价,值,值,BusinessIntelligenceArchitecture,OperationalandExternalData,Warehouse modeling and Construction Tools(,ETL,),Business Intelligence Applications,Decision Support Tools,Query and Reporting,OLAP,Information Mining,Access enablers,Application Interfaces Middleware Services,Departmental,warehouses,(datamarts),Administration,Global Warehouse,Other Information Stores,Operational and External Data,Data Management,Metadata,Management,IBM,商务智,能,能解决,方,方案,Data Warehouse,DB2 UDB,DB2 Warehouse Manager,DB2 Information Integrator,OLAP,DB2 OLAP Server,OLAP Server Analyzer,DB2 Cognos,Data Mining,Intelligent Miner for data,Intelligent Miner Scoring/Modeling/Visualization,SAPBusinessObjects,智,智能,平,平台,企业数据仓库,ETL(抽取、转换、加载),即席查询、预定义报表、自定义报表、OLAP、数据挖掘、专题分析模型,元,数,据,管,理,Web,服务器,客户端,客户端,客户端,客户端,客户端,大客户分析数据集市,财务分析数据集市,客户分析数据集市,.,模型库,业务数据库,业务数据库,业务数据库,业务数据库,业务数据库,业务发展分析,客户分析,大客户分析,用户发展分析,收益情况分析,服务质量分析,营销管理分析,财务分析,渠道分析,反欺诈专题分析,客户流失专题分析,.,商务智,能,能核心,技,技术,Data warehousing,Storeandmanage integratedcustomerdata,OLAP,Interactivedata queries,Reporting,Data mining,Insightsinto thedata,Discoveryofcorrelations andpatterns,Segmentationand classification,Prediction andforecasting,IBM,商,商务智,能,能产品,美国数,据,据仓库,研,研究院,的,的BI,体,体系,业务数,据,据分析,的,的类型,Increasing,# of users,OLAP,Statistical,Analysis,Standard Query Reporting,DM,Increasing,Complexity,数据分,析,析技术,的,的发展,可,可分成,报,报表查,询,询、在,线,线分析,处,处理（OLAP）和,数,数据挖,掘,掘3个,阶,阶段。,商务智,能,能流程,销售分,析,析仪表,盘,盘,客户流,失,失分析,目标顾,客,客群,OLAP,体育用,品,品公司的数据,分,分析,企业绩,效,效管理,客户智,能,能是商,务,务智能,的,的重要,组,组成,客户智,能,能不仅,包,包括了,客,客户知,识,识（客,户,户的消,费,费偏好,、,、喜欢,选,选用的,接,接触渠,道,道、消,费,费行为,特,特征等,等,等许多,描,描述客,户,户的对,话,话、观,察,察知识,）,）的生,成,成，而,且,且更强,调,调了客,户,户知识,在,在企业,中,中的分,发,发、使,用,用，直,到,到产生,客,客户智,能,能。,基于客,户,户智能,的,的CRM系统,分析,型,型CRM,某移动,企,企业基,于,于Teradata,的,的商业,智,智能方,案,案,各行业,电,电子商,务,务网站,算法,层,商,业,逻,辑,层,行,业,应,用,层,商业应,用,用,商业模,型,型,挖掘算,法,法,CRM,产品推荐,客户细分,客户流失,客户利润,客户响应,关联规则、序列模式、分类、聚集、偏差分析,WEB,挖掘,网站结构优化,网页推荐,商品推荐,基因挖掘,基因表达路径分析,基因表达相似性分析,基因表达共发生分析,银行,电信,零售,保险,制药,生物信息,科学研究,相关行,业,业,商务应,用,用需求,的,的推动,神经网,络,络、决,策,策树、,回,回归分,析,析、粗,集,集、遗,传,传算法,商务智,能,能应用,领,领域,银行,美国银,行,行家协,会,会(ABA)预测数,据,据仓库,和,和数据,挖,挖掘技,术,术在美,国,国商业,银,银行的,应,应用增,长,长率是14.9。,分析客,户,户使用,分,分销渠,道,道的情,况,况和分,销,销渠道,的,的容量；建立,利,利润评,测,测模型,；,；客户,关,关系优,化,化；风,险,险控制,等,等,电子商,务,务,网上商,品,品推荐,；,；个性,化,化网页,；,；自适,应,应网站,生物制,药,药、基,因,因研究,DNA,序,序列查,询,询和匹,配,配；识,别,别基因,序,序列的,共,共发生,性,性 ,电信,欺诈甄,别,别；客,户,户流失,保险、,零,零售,政府部,门,门、教,育,育机构,、,、医疗,机,机构和,公,公用事,业,业等。,利,利用商,务,务智能,的,的企业,现,现在已,越,越来越,多,多，遍,及,及各行,各,各业。,商务智,能,能驱动,力,力,商务智,能,能用户,商务智,能,能的作,用,用,制定合,适,适的市,场,场营销,策,策略,改善顾,客,客智能,经营成,本,本与收,入,入分析,提高风,险,险管理,能,能力,改善业,务,务洞察,力,力,提高市,场,场响应,能,能力,商务智,能,能系统,的,的功能,数据集,成,成,找到特,定,定商业,问,问题所,有,有的相,关,关信息,经,经常是,一,一件困,难,难而费,力,力的事,情,情,信息呈,现,现,经营分,析,析,战略决,策,策支持,商业智,能,能的发,展,展趋势,Gartner公司的,调,调查表,明,明，2000年到2004年之间,，,，安全,是,是企业IT投资排,在,在第一,位,位的主,题,题，而,商,商务智,能,能项目,的,的投资,在,在2000年时仅,排,排在第14位，2007年却突,飞,飞猛进,，,，排到,了,了第一,位,位,BI公司的,收,收购：Oracle,收,收购Hyperion，SAP收,购,购BusinessObjects，IBM,收,收购Cognos,从战略,型,型的BI到操作,型,型或者,实,实时型,的,的BI,更成熟,的,的数据,分,分析和,展,展现技,术,术,关注绩,效,效、关,注,注价值,、,、关注,数,数据质,量,量,中国企,业,业对商,务,务智能,的,的应用,商务智,能,能在中,国,国的发,展,展尚处,于,于起步,阶,阶段，,大,大部分,企,企业对,商,商务智,能,能仍然,缺,缺乏必,要,要的了,解,解。,据IDC预测,，,，如果,中,中国经,济,济继续,保,保持高,速,速增长,，,，商务,智,智能软,件,件在中,国,国内地,市,市场的,年,年销售,额,额平均,增,增长至,少,少在65.6,%,%，但,到,到2006年,中,中国内,地,地的商,务,务智能,软,软件市,场,场规模,仍,仍不到,一,一亿美,元,元。,中国虽,有,有宝钢,、,、中国,海,海关以,及,及大的,银,银行和,电,电信公,司,司进行,过,过或正,在,在进行,数,数据仓,库,库和数,据,据挖掘,项,项目，,但,但是大,部,部分企,业,业在这,方,方面的,应,应用还,几,几乎为,零,零。,中国企,业,业对商,务,务智能,的,的应用,（,（续）,虽说几,乎,乎每个,中,中国的,企,企业都,需,需要商,务,务智能,，,，但大,规,规模的,分,分析主,要,要集中,在,在竞争,激,激烈的,生,生活消,费,费品行,业,业、零,售,售业以,及,及金融,服,服务业,（,（如银,行,行、保,险,险等）,。,。,国内的,生,生活消,费,费品行,业,业和零,售,售业利,润,润薄，,信,信息化,程,程度低,，,，资金,实,实力不,强,强，因,而,而没有,足,足够能,力,力实施,。,。被商,务,务智能,软,软件厂,商,商们看,好,好的反,而,而是电,信,信、金,融,融、航,空,空等行,业,业，因,为,为这些,行,行业的,信,信息化,程,程度偏,高,高，并,且,且这些,行,行业从,某,某种意,义,义上讲,都,都是服,务,务业，,客,客户的,需,需求扮,演,演着重,要,要角色,。,。这些,行,行业也可以利,用,用商务,智,智能来,补,补充和,完,完善它,们,们实施,的,的CRM和ERP系,统,统。,商务智,能,能厂商,们,们也看,好,好正在,实,实施电,子,子政务,计,计划的,中,中国政,府,府部门,。,。,商务智,能,能的市,场,场分额,商务智,能,能供应,商,商,Analyst Predictions,Newlicenserevenue in thebusinessintelligencemarket willreach,$,$3billionin2009 fora compound annualgrowthrateof7.3percent.The Asia,/,/Pacificregionwillseethe strongestgrowthofany region,(,(morethan 13 percent,),) fortheforecastperiod.,Newlicenserevenue in theAsia/Pacificbusinessintelligence marketwill reach $259,.,.3million in 2009,.,. It willgrowata compound annualgrowthrateof13.6 percent,.,.,(,(Gartner2007),中国商,务,务智能,市,市场,起步较,晚,晚,差距拉,大,大,普及有,待,待时日,供应商,有,有待成,长,长,为什么,没,没有广,泛,泛使用,？,？,数据挖,掘,掘正在,快,快速的,发,发展，,技,技术的,研,研究和,开,开发已,经,经走在,很,很前沿,的,的地方,，,，数据,挖,挖掘应,用,用面已,经,经扩充,了,了很多,，,，但是,仍,仍然没,有,有希望,的,的高，,为,为什么,？,？,希望在,多,多少年,内,内达到,数,数十亿,元,元的盈,利,利？,一种增,值,值服务,（,（Not bread-and-butter,）,），不,能,能认为,高,高不可,攀,攀，所,以,以不去,过,过问。,一门年,轻,轻的技,术,术，需,要,要和实,际,际结合,，,，解决,现,现实问,题,题。,国内应,用,用存在,的,的问题,数据积,累,累不充,分,分、不,全,全面，,业,业务模,型,型构建,困,困难，,缺,缺少有,经,经验的,实,实施者,。,。,商务智,能,能动态,实时,标准化,嵌入式,商,商务智,能,能,移动商,务,务智能,大众化,趋,趋势,供应商,的,的动向,易用性,