数据挖掘与商务智能-1 商务智能概述-

单击此处母版标题样式,单击此处编辑母版文本样式,第二级,商务智能概述,第一,章,数据挖掘与商务智能,1,主要内,容,容,数据时,代,代需要BI,什么是BI,BI给,我,我们带,来,来了什,么,么,BI系,统,统架构,主流商,务,务智能,产,产品介,绍,绍,商务智,能,能应用,及,及发展,趋,趋势,数据时,代,代需要BI-1,计算时,代,代,实验室,里,里的大,量,量计算,不重视,数,数据的,存,存储,普及时,代,代,个人、,企,企业广,泛,泛使用,出现数,据,据、存,储,储的需,求,求,应用系,统,统时代,开始出,现,现数据,积,积累,互联网,时,时代,更加海,量,量的网,上,上数据,数据时,代,代？,数据、,数,数据、,数,数据、,数,数据、,数,数据,.,“大话,”,”计算,机,机数十,年,年来的,发,发展,数据时,代,代需要BI-2,案例一,：,：BehaviorTargeting,用户行,为,为（网,络,络用户,，,，实际,用,用户）,目标销,售,售（email，网,络,络广告,，,，短信,，,，电话,促,促销,）,）,用户的,归,归类、,预,预测,数据告,诉,诉我们,什,什么-3,案例二,：,：SEM（SearchEngineMarketing）,搜索引,擎,擎营销,MSNBing,、,、 Google、Yahoo和Baidu四,大,大全球,搜,搜索引,擎,擎,KSP,（,（KeywordServicesPlatform,）,）,AdSage,（,（艾德,思,思奇）,:,:第三,方,方SEM服务,商,商,“,Business Intelligence is a process of turning data into information and knowledge into action for business gain,。”,Data Warehouse Institute.,什么是,商,商务智,能,能-1,数据,可以记,录,录、通,信,信和能,识,识别的,符,符号,可以是,文,文本、,图,图片、,声,声音等,多,多种形,式,式,信息,有用的,数,数据就,是,是信息,，,，信息,是,是对数,据,据的解,释,释,信息是,经,经过加,工,工后的,数,数据,一个人,的,的垃圾,（,（数据,）,）是另,一,一个人,的,的财富,（,（信息,）,）,知识,是对信,息,息内容,进,进行提,炼,炼、比,较,较、挖,掘,掘、分,析,析、概,括,括、判,断,断和推,论,论,事实性,知,知识和,经,经验知,识,识（显,性,性和隐,性,性）,How are You?,什么是,商,商务智,能,能-2,商务智能是企业利用现代信息技术收集、管理和分析结构化和非结构化的商务数据和信息，创造和累计商务知识和见解，改善商务决策水平，采取有效的商务行动，完善各种商务流程，提升各方面商务绩效，增强综合竞争力的智慧和能力-王茁专著,三位一体的商务智能,.,共性,没有数,据,据就没,有,有商务,智,智能,数据之,间,间往往,存,存在一,定,定的规,律,律,采用一,定,定的信,息,息技术,手,手段,BI给,我,我们带,来,来了什,么,么-1,BI给,我,我们带,来,来了什,么,么-2,丰富的,报,报表、,查,查询功,能,能发生了,什,什么,BI给,我,我们带,来,来了什,么,么-3,图4.5Cognos的钻取,操,操作,IBMCognos的,钻,钻取操,作,作,为,为什么,发,发生,BI给,我,我们带,来,来了什,么,么-4,预测将来会,发,发生什,么,么,销售分,析,析仪表,盘,盘,BI给,我,我们带,来,来了什,么,么-5,仿真分,析,析希望发,生,生什么,BI,系,系统架,构,构-1,数据库,业务数据库,添加、修改、删除；,查询、统计、归档；,存储、集群、备份、迁移,数据仓,库,库,ETL,数据挖掘模型,多维分析模型,分析展现,挖掘展现,门,户,集,成,BI,系,系统架,构,构-2,数据源,企业内,部,部数据,各种应,用,用系统,：,：订单,系,系统、,销,销售系,统,统、,OLTP（OnlineTransactionProcessing）,外部数,据,据：市,场,场信息,、,、竞争,对,对手数,据,据,存在问,题,题,异构环,境,境数据,主题不,明,明确,对业务,系,系统的,影,影响,BI,系,系统架,构,构-3,数据仓,库,库（DataWarehouse，DW）,面向主,题,题的、,集,集成的,、,、稳定,的,的、随,时,时间不,断,断变化,的,的数据,库,库系统,ETL,数据抽,取,取（Extraction）,数据转,换,换（Transformation）,数据加,载,载（Loading）,BI,系,系统架,构,构-4,OLAP（On-LineAnalyticalProcessing）,商务智,能,能的直,接,接数据,来,来源？,OLTP?,数据仓,库,库？,多维数,据,据集?,什么是,多,多维数,据,据集？,“,多维数据集是一种结构，包含了一个或多个度量,。这些度量用于所有维度的成员的每个唯一组合。”,BI,系,系统架,构,构-5,OLAP（On-LineAnalyticalProcessing）,“OLAP系统能够让用户快捷地从数据中检索信息，通常作为分析工具用在数据集市中，OLAP系统通过度量、维度、层次结构和多维数据集等来展示数据。”, Microsoft,BI,系,系统架,构,构-6,数据挖,掘,掘,啤酒与尿布的故事：,在一家超市里，有一个有趣的现象：尿布和啤酒赫然摆在一起出售，但是这个奇怪的举措却使尿布和啤酒的销量双双增加了。,原来，美国的妇女们经常会嘱咐她们的丈夫下班以后要为孩子买尿布。而丈夫在买完尿布之后又要顺手买回自己爱喝的啤酒，因此啤酒和尿布在一起购买的机会还是很多的。,BI的,三,三个层,次,次,数据库,业务数据库,添加、修改、删除；,查询、统计、归档；,存储、集群、备份、迁移,数据仓,库,库,ETL,数据挖掘模型,多维分析模型,分析展现,挖掘展现,门,户,集,成,BI的,三,三个层,次,次,用户数,增,增加,报表分,析,析,OLAP,DM,复杂度,增,增加,我知道,它,它现在,是,是怎样,的,的,我知道,它,它为什,么,么是这,样,样,我知道,它,它以后,会,会是怎,样,样,主流商,务,务智能,产,产品介,绍,绍-1,厂商,产品及简介,IBM,DB2以及Cognos、SPSS、DataStage，覆盖BI全部领域,Oracle,Oracle、Hyperion(海波龙,)，覆盖BI全部领域，数据挖掘领域有待加强,Microsoft,SQLServer，覆盖BI全部领域，适合中小型企业，性价比高,Informatica,Informatica，主要是数据集成领域,Teradata,Teradata，主要是数据仓库领域,Sybase,SybaseIQ，主要是数据仓库领域,SAP,BusinessObjects、CrystalReports，主要是OLAP和报表领域,SAS,SAS，数据挖掘领域领先,奥威智动,Power-BI，主要是OLAP和报表领域，行业解决方案,尚南,BlueQuery，主要是OLAP和报表领域（已被用友华表收购）,润乾,润乾报表，主要是OLAP和报表领域,探智,Trinity，主要是数据集成领域,主流商,务,务智能,产,产品介,绍,绍-2,商务智,能,能应用,-,-1,商务智,能,能行业,应,应用,商务智,能,能应用,-,-2,各行业,电,电子商,务,务网站,算法,层,商,业,逻,辑,层,行,业,应,用,层,商业应,用,用,商业模,型,型,挖掘算,法,法,CRM,产品推荐,客户细分,客户流失,客户利润,客户响应,关联规则、序列模式、分类、聚集、偏差分析,WEB,挖掘,网站结构优化,网页推荐,商品推荐,基因挖掘,基因表达路径分析,基因表达相似性分析,基因表达共发生分析,银行,电信,零售,保险,制药,生物信息,科学研究,相关行,业,业,商务应,用,用需求,的,的推动,神经网,络,络、决,策,策树、,回,回归分,析,析、粗,集,集、遗,传,传算法,金融行,业,业应用,美,国,国汇丰,银,银行使,用,用SPSS成,功,功案例,公司背,景,景,美国汇,丰,丰银行,是,是HSBC集,团,团成员,之,之一，,通,通过位,于,于纽约,的,的 380,个,个分支,机,机构为140 多,万,万银行,客,客户提,供,供核算,、,、投资,、,、借贷,和,和其它,金,金融服,务,务。美,国,国汇丰,银,银行资,产,产为350亿,美,美元。,面临问,题,题,同一地,区,区可能,有,有多家,银,银行设,有,有分支,机,机构，,从,从而引,起,起持续,的,的竞争,来,来吸引,和,和保持,附,附近的,潜,潜在客,户,户。为,保,保持高,水,水平的,客,客户获,取,取和保,持,持率，,并,并维持,可,可赢利,性,性，银,行,行经常,要,要实现,以,以下目,标,标：,扩展和,现,现有客,户,户的关,系,系,控制营,销,销费用,以,以维持,利,利润,用新的,智,智能快,速,速转移,市,市场,金融行,业,业应用,美,国,国汇丰,银,银行使,用,用SPSS成,功,功案例,解决方,案,案SPSS,客户细,分,分：采,用,用实时,的,的预测,分,分析技,术,术，分,析,析来自,各,各种不,同,同数据,源,源（ATM、,交,交易网,站,站、呼,叫,叫中心,及,及相关,分,分支机,构,构）的,客,客户数,据,据,发,现,现潜在,价,价值,客户流,失,失：找,出,出最有,价,价值的,客,客户，,理,理解他,们,们的行,为,为。在,客,客户群,中,中找出,尽,尽可能,多,多的潜,在,在流失,者,者，进,行,行有效,的,的保留,活,活动并,降,降低成,本,本,交叉销,售,售:从,客,客户的,交,交易数,据,据和客,户,户的自,然,然属性,中,中寻找,、,、选择,最,最有可,能,能捆绑,在,在一起,销,销售的,产,产品和,服,服务，,发,发现有,价,价值的,产,产品和,服,服务组,合,合，从,而,而有效,地,地向客,户,户提供,额,额外的,服,服务，,提,提高活,期,期收入,并,并提升,客,客户的,收,收益率,金融行,业,业应用,美,国,国汇丰,银,银行使,用,用SPSS成,功,功案例,应用结,果,果,揭示特,定,定客户,的,的需求,，,，销售,增,增加50%,营销费,用,用减少30%,提高了,建,建立和,开,开展适,时,时营销,战,战略的,能,能力,Somma说，OLAP对了解,数,数据特,征,征来说,是,是一个,不,不错的,工,工具，,但,但我无,法,法从中,发,发现联,系,系的力,度,度，也,不,不能做,出,出预测,模,模型，,而,而那正,是,是我最,需,需要的,。,。“,Somma说，OLAP是好的,报,报告工,具,具，但,没,没有统,计,计引擎,，,，它只,能,能告诉,过,过去我,在,在哪里,，,，而不,能,能说出,我,我需要,去,去哪里,。,。,BI在,电,电信行,业,业应用,精细化,营,营销,客户细,分,分，找,准,准客户,范,范围，,全,全面了,解,解客户,地市分,公,公司数,据,据集市,建,建设,评估分,析,析套餐,资费预,演,演功能,套餐分,析,析,资费营,销,销案活,动,动管理,降低成,本,本,重入网,现,现象日,趋,趋严重,利用呼,叫,叫指纹,和,和IMEI技,术,术，架,构,构新的,重,重入网,模,模型,BI在,零,零售业,应,应用-1,零售业,特,特点,顾客数,量,量庞大,，,，消费,水,水平层,次,次不齐,销售品,种,种多，,销,销售方,式,式多样,供应商,信,信息庞,大,大,顾客已从“感,觉,觉消费,”,”向“,感,感情消,费,费”迈,进,进,企业经,营,营开始从降低,成,成本向,提,提高顾,客,客满意,度,度迈进,（,（CRM）,CRM,（,（客户,关,关系管,理,理）指,在,在合适,的,的时间,、,、以合,适,适的价,格,格、将,合,合适的,产,产品或,服,服务提,供,供给合,适,适的客,户,户，以,满,满足他,们,们的需,要,要。,BI在,零,零售业,应,应用-2,BI在,零,零售业,的,的应用,价,价值,了解销,售,售全局,商品分,组,组布局,降低库,存,存成本,市场和,趋,趋势分,析,析,有效的,商,商品促,销,销,BI在,电,电子商,务,务行业,的,的应用,-,-1,BI在,电,电子商,务,务行业,的,的应用,-,-2,Web,挖,挖掘,就是利,用,用数据,挖,挖掘技,术,术，从Web,文,文档以,及,及服务,中,中发现,信,信息、,知,知识的,过,过程,数据来,源,源于Web文,档,档、Web,服,服务器,日,日志、用户Cookies,主要处,理,理文本,、,、图形,、,、图像,等,等半结,构,构化数,据,据,主要应,用,用,网站结,构,构优化,智能搜,索,索引擎,个性化,推,推荐,顾客分,类,类，交,叉,叉销售,垃圾邮,件,件过滤,BI在,电,电子商,务,务行业,的,的应用,-,-3,Web,挖,挖掘分,类,类,Web,挖掘,Web,结构挖掘,Web,使用挖掘,Web,内容挖掘,文本挖掘,多媒体挖掘,内,、,外部结构挖掘,URL,挖掘,个性化访问模,式追踪,一般访问模式,追踪,BI在,电,电子商,务,务行业,的,的应用,-,-4,Web,文,文本挖,掘,掘,Web,文,文本挖,掘,掘应用,搜索引,擎,擎优化,垃圾邮,件,件过滤,BI在,电,电子商,务,务行业,的,的应用,-,-4,Web,结,结构挖,掘,掘,通过分,析,析页面,链,链接的,数,数量和,对,对象，,从,从而建,立,立Web的链,接,接结构,模,模式,相关算,法,法,PageRank算,法,法：网,页,页的质,量,量和重,要,要性可,以,以通过,其,其他网,页,页对其,链,链接的,数,数量进,行,行衡量,HITS算法,：,：,权威页,面,面：表,达,达某一,主,主题的,页,页面,Hub,页,页面：,把,把权威,页,页面链,接,接到一,起,起的页,面,面,应用,信息检,索,索：根,据,据Web重要,性,性进行,排,排名,社区识,别,别：识,别,别基于,某,某个特,定,定主题,的,的相关Web,页,页面,网站优,化,化：重,新,新定位,网,网页链,接,接,BI在,电,电子商,务,务行业,的,的应用,-,-5,Web,日,日志挖,掘,掘,指从用,户,户访问,日,日志中,获,获取有,价,价值的,信,信息,，,，包括,访,访问者,的,的兴趣,爱,爱好、,访,访问模,式,式、满,意,意度,应用,顾客分,类,类：开,展,展有针,对,对性的,营,营销活,动,动,交叉销,售,售：识,别,别商品,间,间的关,联,联程度,个性化,推,推荐：,在,在适合,的,的时间,，,，以适,合,合的方,式,式，将,适,适合的,产,产品，,推,推荐到,适,适合的,人,人手中,。,。,BI在,电,电子商,务,务行业,的,的应用,-,-6,服装,电,电子商,务,务个性,化,化推荐,系,系统关,键,键技术,研,研究,课题,虚拟与,现,现实存,在,在一定,的,的差距,，,，传统,的,的服装,电,电子商,务,务网站,不,不适合,“,“一看,二,二摸三,试,试衣”,的,的购物,流,流程,存在海,量,量的商,品,品信息,查找困,难,难，失,去,去购物,兴,兴趣,搜索结,果,果界面,相,相同,缺乏个,性,性化（,颜,颜色、,款,款式）,服装个,性,性化搭,配,配问题,服装展,示,示：二,维,维图片,+,+文字,说,说明为,主,主,用户购,衣,衣后衣,服,服不合,体,体,衣服质,感,感存在,较,较大差,异,异,BI在,电,电子商,务,务行业,的,的应用,-,-7,服装款,式,式个性,化,化推荐,技,技术,用户聚,类,类,Web,数,数据挖,掘,掘,协同过,滤,滤推荐,不确定,性,性服装,搭,搭配预,测,测模型,研,研究,虚拟试,衣,衣,三维人,体,体建模,技,技术,三维人,体,体模型,与,与三维,服,服装CAD结,合,合,虚拟试,衣,衣技术,商务智,能,能进展,-,-1,技术发,展,展,20世,纪,纪90,年,年代初,期,期 ，,信,信息仓,库,库,90年,代,代中期,，,，数,据,据仓库,90年,代,代后期,，,，数,据,据挖掘,、,、多维,分,分析与,展,展现,技,技术,BI市,场,场竞争,Gartner公司,的,的调查,表,表明，2000年到2004年之,间,间，安,全,全是企,业,业IT,投,投资排,在,在第一,位,位的主,题,题，而,商,商务智,能,能项目,的,的投资,在,在2000年,时,时仅排,在,在第14位，2007年却,突,突飞猛,进,进，排,到,到了第,一,一位,BI公,司,司的收,购,购：Oracle收,购,购Hyperion,，,，SAP收购BusinessObjects，IBM收,购,购Cognos,市场规,模,模每年,大,大约增,加,加10,%,%15%,商务智,能,能的发,展,展趋势,商务智,能,能进展,-,-2,起步较,晚,晚：商,务,务智能,在,在中国,的,的发展,尚,尚处于,起,起步阶,段,段，大,部,部分企,业,业对商,务,务智能,仍,仍然缺,乏,乏必要,的,的了解,。,。,差距拉,大,大：呈,现,现出区,域,域和行,业,业的分,布,布不均,现,现象,供应商,有,有待成,长,长,中国企,业,业对商,务,务智能,的,的应用,商务智,能,能进展,-,-3,实时,标准化,嵌入式,商,商务智,能,能,移动商,务,务智能,大众化,趋,趋势,易用性,体育用,品,品公司的数据,分,分析,总结,