数据挖掘与商务智能36020

单击此处母版标题样式,单击此处编辑母版文本样式,第二级,商务智能概述,第一,章,数据挖掘与商务智能,主要内容,数据时代需要BI,什么是BI,BI给我们带来了什么,BI系统架构,主流商务智能产品介绍,商务智能应用及发展趋势,数据时代需要BI-1,计算时代,实验室里的大量计算,不重视数据的存储,普及时代,个人、企业广泛使用,出现数据、存储的需求,应用系统时代,开始出现数据积累,互联网时代,更加海量的网上数据,数据时代？,数据、数据、数据、数据、数据.,“大话”计算机数十年来的发展,数据时代需要BI-2,案例一：Behavior Targeting,用户行为（网络用户，实际用户）,目标销售（email，网络广告，短信，电话促销）,用户的归类、预测,数据告诉我们什么-3,案例二：SEM（Search Engine Marketing）,搜索引擎营销,MSN Bing、Google、Yahoo和Baidu四大全球搜索引擎,KSP（Keyword Services Platform）,AdSage（艾德思奇）:第三方SEM服务商,“,Business Intelligence is a process of turning data into information and knowledge into action for business gain,。”,Data Warehouse Institute.,什么是商务智能-1,数据,可以记录、通信和能识别的符号,可以是文本、图片、声音等多种形式,信息,有用的数据就是信息，信息是对数据的解释,信息是经过加工后的数据,一个人的垃圾（数据）是另一个人的财富（信息）,知识,是对信息内容进行提炼、比较、挖掘、分析、概括、判断和推论,事实性知识和经验知识（显性和隐性）,How are You?,什么是商务智能-2,商务智能是企业利用现代信息技术收集、管理和分析结构化和非结构化的商务数据和信息，创造和累计商务知识和见解，改善商务决策水平，采取有效的商务行动，完善各种商务流程，提升各方面商务绩效，增强综合竞争力的智慧和能力-王茁专著,三位一体的商务智能,.,共性,没有数据就没有商务智能,数据之间往往存在一定的规律,采用一定的信息技术手段,BI给我们带来了什么-1,BI给我们带来了什么-2,丰富的报表、查询功能发生了什么,BI给我们带来了什么-3,图,4.5 Cognos,的钻取操作,IBM Cognos的钻取操作为什么发生,BI给我们带来了什么-4,预测将来会发生什么,销售分析仪表盘,BI给我们带来了什么-5,仿真分析希望发生什么,BI 系统架构-1,数据库,业务数据库,添加、修改、删除；,查询、统计、归档；,存储、集群、备份、迁移,数据仓库,ETL,数据挖掘模型,多维分析模型,分析展现,挖掘展现,门,户,集,成,BI 系统架构-2,数据源,企业内部数据,各种应用系统：订单系统、销售系统、,OLTP（Online Transaction Processing）,外部数据：市场信息、竞争对手数据,存在问题,异构环境数据,主题不明确,对业务系统的影响,BI 系统架构-3,数据仓库（Data Warehouse，DW）,面向主题的、集成的、稳定的、随时间不断变化的数据库系统,ETL,数据抽取（Extraction）,数据转换（Transformation）,数据加载（Loading）,BI 系统架构-4,OLAP（On-Line Analytical Processing）,商务智能的直接数据来源？,OLTP?,数据仓库？,多维数据集?,什么是多维数据集？,“,多维数据集是一种结构，包含了一个或多个度量,。这些度量用于所有维度的成员的每个唯一组合。”,BI 系统架构-5,OLAP（On-Line Analytical Processing）,“OLAP系统能够让用户快捷地从数据中检索信息，通常作为分析工具用在数据集市中，OLAP系统通过度量、维度、层次结构和多维数据集等来展示数据。”,Microsoft,BI 系统架构-6,数据挖掘,啤酒与尿布的故事：,在一家超市里，有一个有趣的现象：尿布和啤酒赫然摆在一起出售，但是这个奇怪的举措却使尿布和啤酒的销量双双增加了。,原来，美国的妇女们经常会嘱咐她们的丈夫下班以后要为孩子买尿布。而丈夫在买完尿布之后又要顺手买回自己爱喝的啤酒，因此啤酒和尿布在一起购买的机会还是很多的。,BI的三个层次,数据库,业务数据库,添加、修改、删除；,查询、统计、归档；,存储、集群、备份、迁移,数据仓库,ETL,数据挖掘模型,多维分析模型,分析展现,挖掘展现,门,户,集,成,BI的三个层次,用户数增加,报表分析,OLAP,DM,复杂度增加,我知道它现在是怎样的,我知道它为什么是这样,我知道它以后会是怎样,主流商务智能产品介绍-1,厂商,产品及简介,IBM,DB2以及Cognos、SPSS、DataStage，覆盖BI全部领域,Oracle,Oracle、Hyperion(海波龙,)，覆盖BI全部领域，数据挖掘领域有待加强,Microsoft,SQLServer，覆盖BI全部领域，适合中小型企业，性价比高,Informatica,Informatica，主要是数据集成领域,Teradata,Teradata，主要是数据仓库领域,Sybase,SybaseIQ，主要是数据仓库领域,SAP,BusinessObjects、CrystalReports，主要是OLAP和报表领域,SAS,SAS，数据挖掘领域领先,奥威智动,Power-BI，主要是OLAP和报表领域，行业解决方案,尚南,BlueQuery，主要是OLAP和报表领域（已被用友华表收购）,润乾,润乾报表，主要是OLAP和报表领域,探智,Trinity，主要是数据集成领域,主流商务智能产品介绍-2,商务智能应用-1,商务智能行业应用,商务智能应用-2,各行业电子商务网站,算法,层,商,业,逻,辑,层,行,业,应,用,层,商业应用,商业模型,挖掘算法,CRM,产品推荐,客户细分,客户流失,客户利润,客户响应,关联规则、序列模式、分类、聚集、偏差分析,WEB,挖掘,网站结构优化,网页推荐,商品推荐,基因挖掘,基因表达路径分析,基因表达相似性分析,基因表达共发生分析,银行,电信,零售,保险,制药,生物信息,科学研究,相关行业,商务应用需求的推动,神经网络、决策树、回归分析、粗集、遗传算法,金融行业应用美国汇丰银行使用SPSS成功案例,公司背景,美国汇丰银行是HSBC集团成员之一，通过位于纽约的 380 个分支机构为 140 多万银行客户提供核算、投资、借贷和其它金融服务。美国汇丰银行资产为350亿美元。,面临问题,同一地区可能有多家银行设有分支机构，从而引起持续的竞争来吸引和保持附近的潜在客户。为保持高水平的客户获取和保持率，并维持可赢利性，银行经常要实现以下目标：,扩展和现有客户的关系,控制营销费用以维持利润,用新的智能快速转移市场,金融行业应用美国汇丰银行使用SPSS成功案例,解决方案SPSS,客户细分：采用实时的预测分析技术，分析来自各种不同数据源（ATM、交易网站、呼叫中心及相关分支机构）的客户数据,发现潜在价值,客户流失：找出最有价值的客户，理解他们的行为。在客户群中找出尽可能多的潜在流失者，进行有效的保留活动并降低成本,交叉销售:从客户的交易数据和客户的自然属性中寻找、选择最有可能捆绑在一起销售的产品和服务，发现有价值的产品和服务组合，从而有效地向客户提供额外的服务，提高活期收入并提升客户的收益率,金融行业应用美国汇丰银行使用SPSS成功案例,应用结果,揭示特定客户的需求，销售增加50%,营销费用减少30%,提高了建立和开展适时营销战略的能力,Somma说，,OLAP对了解数据特征来说是一个不错的工具，但我无法从中发现联系的力度，也不能做出预测模型，而那正是我最需要的。“,Somma说，OLAP是好的报告工具，但没有统计引擎，它只能告诉过去我在哪里，而不能说出我需要去哪里。,BI在电信行业应用,精细化营销,客户细分，找准客户范围，全面了解客户,地市分公司数据集市建设,评估分析套餐,资费预演功能,套餐分析,资费营销案活动管理,降低成本,重入网现象日趋严重,利用呼叫指纹和IMEI技术，架构新的重入网模型,BI在零售业应用-1,零售业特点,顾客数量庞大，消费水平层次不齐,销售品种多，销售方式多样,供应商信息庞大,顾客,已,从“感觉消费”向“感情消费”迈进,企业经营,开始,从降低成本向提高顾客满意度迈进（CRM）,CRM（客户关系管理）指在合适的时间、以合适的价格、将合适的产品或服务提供给合适的客户，以满足他们的需要。,BI在零售业应用-2,BI在零售业的应用价值,了解销售全局,商品分组布局,降低库存成本,市场和趋势分析,有效的商品促销,BI在电子商务行业的应用-1,BI在电子商务行业的应用-2,Web挖掘,就是利用数据挖掘技术，从Web文档以及服务中发现信息、知识的过程,数据来源于Web文档、,Web服务器日志,、用户Cookies,主要处理文本、图形、图像等半结构化数据,主要应用,网站结构优化,智能搜索引擎,个性化推荐,顾客分类，交叉销售,垃圾邮件过滤,BI在电子商务行业的应用-3,Web挖掘分类,Web,挖掘,Web,结构挖掘,Web,使用挖掘,Web,内容挖掘,文本挖掘,多媒体挖掘,内,、,外部结构挖掘,URL,挖掘,个性化访问模,式追踪,一般访问模式,追踪,BI在电子商务行业的应用-4,Web文本挖掘,Web文本挖掘应用,搜索引擎优化,垃圾邮件过滤,BI在电子商务行业的应用-4,Web结构挖掘,通过分析页面链接的数量和对象，从而建立Web的链接结构模式,相关算法,PageRank算法：网页的质量和重要性可以通过其他网页对其链接的数量进行衡量,HITS算法：,权威页面：表达某一主题的页面,Hub页面：把权威页面链接到一起的页面,应用,信息检索：根据Web重要性进行排名,社区识别：识别基于某个特定主题的相关Web页面,网站优化：重新定位网页链接,BI在电子商务行业的应用-5,Web日志挖掘,指从用户访问日志中获取有价值的信息，包括访问者的兴趣爱好、访问模式、满意度,应用,顾客分类：开展有针对性的营销活动,交叉销售：识别商品间的关联程度,个性化推荐：在适合的时间，以适合的方式，将适合的产品，推荐到适合的人手中。,BI在电子商务行业的应用-6,服装电子商务个性化推荐系统关键技术研究 课题,虚拟与现实存在一定的差距，传统的服装电子商务网站不适合“一看二摸三试衣”的购物流程,存在海量的商品信息,查找困难，失去购物兴趣,搜索结果界面相同,缺乏个性化（颜色、款式）,服装个性化搭配问题,服装展示：二维图片+文字说明为主,用户购衣后衣服不合体,衣服质感存在较大差异,BI在电子商务行业的应用-7,服装款式个性化推荐技术,用户聚类,Web数据挖掘,协同过滤推荐,不确定性服装搭配预测模型研究,虚拟试衣,三维人体建模技术,三维人体模型与三维服装CAD结合,虚拟试衣技术,商务智能进展-1,技术发展,20世纪90年代初期，信息仓库,90年代中期，数据仓库,90年代后期，数据挖掘、多维分析与展现 技术,BI市场竞争,Gartner公司的调查表明，2000年到2004年之间，安全是企业IT投资排在第一位的主题，而商务智能项目的投资在2000年时仅排在第14位，2007年却突飞猛进，排到了第一位,BI公司的收购：Oracle收购Hyperion，SAP收购Business Objects，IBM收购Cognos,市场规模每年大约增加10%15%,商务智能的发展趋势,商务智能进展-2,起步较晚：商务智能在中国的发展尚处于起步阶段，大部分企业对商务智能仍然缺乏必要的了解。,差距拉大：呈现出区域和行业的分布不均现象,供应商有待成长,中国企业对商务智能的应用,商务智能进展-3,实时,标准化,嵌入式商务智能,移动商务智能,大众化趋势,易用性,体育用品公司,的数