数据挖掘之关联分析

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,数据挖掘关联分析,概念,数据挖掘,(Data Mining),是通过分析每个数据，从大量数据中寻找其规律的技术，主要有数据准备、规律寻找和规律表示,3,个步骤。,数据挖掘的任务有关联分析、聚类分析、分类分析、异常分析、特异群组分析和演变分析等。,关联分析,是指如果两个或多个事物之间存在一定的关联,那么其中一个事物就能通过其他事物进行预测,.,它的目的是为了挖掘隐藏在数据间的相互关系。,数据挖掘能做什么,分类（,Classification,）,首先从数据中选出已经分好类的训练集，在该训练集上运用数据挖掘分类的技术，建立分类模型，对于没有分类的数据进行分类。,例子：,a.,信用卡申请者，分类为低、中、高风险,b.,故障诊断：中国宝钢集团与上海天律信息技术有限公司合作，采用数据挖掘技术对钢材生产的全流程进行质量监控和分析，构建故障地图，实时分析产品出现瑕疵的原因，有效提高了产品的优良率。,数据挖掘能做什么,估计（,Estimation,）,估计与分类类似，不同之处在于，分类描述的是离散型变量的输出，而估值处理连续值的输出；分类,数据挖掘,的类别是确定数目的，估值的量是不确定的。,例子：,a.,根据购买模式，估计一个家庭的孩子个数,b.,根据购买模式，估计一个家庭的收入,c.,估计,real estate,的价值,一般来说，估值可以作为分类的前一步工作。例如：银行对家庭贷款业务，运用估值，给各个客户记分（,Score 01,）。然后，根据阈值，将贷款级别分类。,数据挖掘能做什么,预测（,Prediction,）,通常，预测是通过分类或估值起作用的，也就是说，通过分类或估值得出模型，该模型用于对未知变量的预言。从这种意义上说，预言其实没有必要分为一个单独的类。预言其目的是对未来未知变量的预测，这种预测是需要时间来验证的，即必须经过一定时间后，才知道预言准确性是多少。,数据挖掘能做什么,相关性分组或关联规则,（,Affinity grouping or association rules,）,决定哪些事情将一起发生。,例子：,a.,超市中客户在购买,A,的同时，经常会购买,B,，即,A=B(,关联规则,),b.,客户在购买,A,后，隔一段时间，会购买,B,（序列分析）,数据挖掘能做什么,聚类（,Clustering,）,聚类是对记录分组，把相似的记录在一个聚集里。聚类和分类的区别是聚集不依赖于预先定义好的类，不需要训练集。,例子：,a.,一些特定症状的聚集可能预示了一个特定的疾病,b.,租,VCD,类型不相似的客户聚集，可能暗示成员属于不同的亚文化群,数据关联,我们会发现很多网站都具备了内容推荐的功能，这类功能无疑在帮助用户发现需求，促进商品购买和服务应用方面起到了显著性的效果。,那么这类的推荐是怎么得到的呢？,数据关联,关联推荐在营销上被分为两类：,向上营销,(Up Marketing),：根据既有客户过去的消费喜好，提供更高价值或者其他用以加强其原有功能或者用途的产品或服务。,交叉营销,(Cross Marketing),：从客户的购买行为中发现客户的多种需求，向其推销相关的产品或服务。,数据关联,向上营销是基于同类产品线的升级或优化产品的推荐，而交叉营销是基于相似但不同类的产品的推荐。,数据关联,关联推荐在实现方式上也可以分为两种：,以产品分析为基础的关联推荐,以用户分析为基础的关联推荐,比如,Web Analytics,和,Web Analytics 2.0,的作者都是,Avinash Kaushik,，而且书名都包含,Web Analytics,，都是网站分析类的书籍，同时也可能是同一个出版社,那么基于产品的关联就可以向购买了,Web Analytics,的用户推荐,Web Analytics 2.0,。,数据关联,关联推荐在实现方式上也可以分为两种：,以产品分析为基础的关联推荐,以用户分析为基础的关联推荐,基于用户分析的推荐是通过分析用户的历史行为数据，可能会发现购买了,Web Analytics,的很多用户也买了,The Elements of User Experience,这本书，那么就可以基于这个发现进行推荐。,关联规则,数据关联,经典案例：,沃尔玛的啤酒和尿布的故事,关联规则,基于用户行为分析的关联推荐,更有利于发现用户的潜在需求，帮助用户更好的选择它们需要的产品，并由用户决定是否购买，也就是所谓的,“拉式”营销,。通过向用户推荐产品或服务，激发用户的潜在需求，促使用户消费，更加符合,“以用户为中心”,的理念。,以,电子商务网站,为例来说明一下关联规则的具体实现,:,目前大部分电子商务网站都提供用户注册的功能，而购物的用户一般都是基于登录的条件下完成的，所以这里为用户识别提供了最为有效的标示符,用户,ID,；同时网站会把所有用户的购物数据储存在自己的运营数据库里面，这个为用户行为分析提供了数据基础,用户历史购物数据,。,基于用户行为分析的关联推荐,关联规则的实现原理,:,从所有的用户购物数据中（如果数据量过大，可以选取一定的时间区间，如一年、一个季度等），,寻找当用户购买了,A,商品的基础上，又购买了,B,商品的人数所占的比例，当这个比例达到了预设的一个目标水平的时候，我们就认为这两个商品是存在一定关联的,，所以当用户购买了,A,商品但还未购买,B,商品时，我们就可以向该类用户推荐,B,商品。,基于用户行为分析的关联推荐,THANK YOU!,