尿布与啤酒与数据挖掘技术.ppt

1,尿布与啤酒与数据挖掘技术,2,在一家超市，有个有趣的现象：尿布和啤酒赫然摆在一起出售，但是这个“奇怪的举措”却使尿布和啤酒的销量双双增加了。,故事,3,总部位于美国阿肯色州的世界著名商业零售连锁企业沃尔玛（WalMart）拥有世界上最大的数据仓库系统。为了能够准确了解顾客在其门店的购买习惯，沃尔玛利对其顾客的购物行为进行购物篮分析，想知道顾客经常一起购买的商品有哪些。沃尔玛数据仓库里集中了其各门店的详细原始交易数据。在这些原始交易数据的基础上，沃尔玛利用NCR数据挖掘工具对这些数据进行分析和挖掘。一个意外的发现是：跟尿布一起购买最多的商品竟是啤酒！,故事,4,这是数据挖掘技术对历史数据进行分析的结果，反映数据内在的规律。那么这个结果符合现实情况吗？是否是一个有用的知识？是否有利用价值？,分析,5,沃尔玛派出市场调查人员和分析师对这一数据挖掘结果进行调查分析。经过大量实际调查和分析，揭示了隐藏在“尿布与啤酒”背后的美国人的一种行为模式：在美国，一些年轻父亲下班后经常要到超市去买婴儿尿布，而他们中有30%到40%的人同时也为自己买一些啤酒。产生这一现象的原因是：美国的太太们常叮嘱她们的丈夫下班后为小孩买尿布，而丈夫们在买尿布后又随手带回了他们喜欢的啤酒。,分析,6,既然尿布与啤酒一起被购买的机会很多，于是沃尔玛就在其一个个门店将尿布与啤酒摆放在一起，结果，尿布与啤酒的销售量双双增长。,分析,7,按常规思维，尿布与啤酒风马牛不相及，若不是借助数据挖掘技术对大量交易数据进行挖掘分析，沃尔玛是不可能发现数据内在这一有价值的规律的。是什么让沃尔玛发现了尿布和啤酒之间的关系呢？正是商家通过对超市一年多原始交易数字进行详细的分析，才发现了这对神奇的组合。,分析,8,数据挖掘是从大量数据中寻找其规律的技术，主要有数据准备、规律寻找和规律表示三个步骤。但在具体实施数据挖掘应用时，还要有一个步骤就是结果评价。这是因为数据算法寻找出来的是数据的规律，其中有些是人们感兴趣的有用的，还有一些可能是不感兴趣的没有用的。这就要对寻找出的规律进行评估。例如：跟尿布一起购买最多的商品是啤酒这样一条规律是否有用呢？这就需要市场调查和评估工程师根据实际情况做出评估判断。这是一个人工步骤，还难以自动化。,数据挖掘是什么样的技术,9,数据挖掘分为描述性和预测性两类。描述性数据挖掘提供数据的一般规律预测性数据挖掘产生关于数据的预测。,数据挖掘分类,10,关联分析：寻找数据项之间感兴趣的关联关系。例如：我们可以通过对交易数据的分析可能得出86%买啤酒的人同时也买尿布这样一条啤酒和尿布之间的关联规则。,数据挖掘的主要内容,11,演变分析：描述时间序列数据随时间变化的数据的规律或趋势，并对其建模。包括时间序列趋势分析、周期模式匹配等。例如：通过对交易数据的演变分析，可能会得到89%情况股票X上涨一周左右后，股票Y会上涨这样一条序列知识。,数据挖掘的主要内容,12,聚类分析：根据最大化类内的相似性、最小化类间的相似性的原则将数据对象聚类或分组，所形成的每个簇（聚类）可以看作一个数据对象类，用显式或隐式的方法描述它们。也就是我们常说的物以类聚人以群分。,数据挖掘的主要内容,13,分类分析：找出描述并区分数据类的模型（可以是显式或隐式），以便能够使用模型预测给定数据所属的数据类。例如：信用卡公司可以将持卡人的信誉度分类为：良好、普通和较差三类。分类分析通过对这些数据类的分析给出一个信誉等级的显式模型：信誉良好的持卡人是年收入在30000元到50000元之间，年龄在30至45岁之间，居住面积达90M2左右的人。这样对于一个新的持卡人，就可以根据他的特征预测其信誉度。,数据挖掘的主要内容,14,异常分析：一个数据集中往往包含一些特别的数据，其行为和模式与一般的数据不同，这些数据称为异常。对异常数据的分析称为异常分析。它在欺诈甄别、网络入侵检测等领域有着广泛的应用。,数据挖掘的主要内容,15,数据挖掘应用领域非常广阔先期将在数据积累比较充分的领域银行、证券、电信等领域到应用，以后将在各行各业各领域中获得应用。只要数据积累充分，就需要数据挖掘技术。,数据挖掘技术的应用前景,16,数据挖掘技术将被社会长期使用随着信息化工作的深入发展，计算机中积累的数据只会越来越多，人们会越来越重视对这些信息的挖掘利用，所以对数据挖掘技术的需求也会越来越大。当然，数据挖掘技术本身会不断发展进步，该技术将被长期使用。,数据挖掘技术的应用前景,17,数据挖掘技术的应用前景,18,身边的数据挖掘,19,身边的数据挖掘,20,在Excel2007进行数据挖掘,21,22,23,SQLServer2008_DMAddin.msi,24,25,26,Associate表的部分数据,27,购物篮分析窗口,28,购物篮分析窗口,29,购物篮分析过程,30,购物篮捆绑销售商品,31,购物篮推荐,解释：购买MountainTireTube的人常常也会购买Sport-100。所选商品的销售情况：说明有多少个事务包含了选中的项。有1782个事务包含MountainTireTube关联销售：说明有多少个事务也包含推荐的商品。有749个事务包含MountainTireTube和Sport-100关联销售的百分比：以百分比显示关联销售,32,13512714786,Nicetomeetyou!,