资源描述
典型统计分析方法及应用,郭毅2007年10月,内蒙古财经学院工商管理学院,目录,前言聚类分析判别分析遗传算法,前言,内蒙古财经学院工商管理学院,我国学者、教学科研人员大多重视思辨性思维，空泛的议论多，而逻辑推理的思维方式淡化，更不追求严密的公理化体系。定量分析方法能使人们对质的规律性的认识更加深入全面。,一、为什么我们需要了解统计分析方法？,东西方文化差异,内蒙古财经学院工商管理学院,技术因素（供方）,定量分析的推动因素,市场因素（需方）,数据库技术,通讯技术,网络技术,分析技术,数据仓库,市场全球化,组织变迁,客户关系管理,。,。,一、为什么我们需要了解统计分析方法？,数据和信息以几何级数增长,内蒙古财经学院工商管理学院,现代统计分析方法,结构简化方法,预测据测方法,回归分析4.定性资料分析判别分析5.聚类分析遗传算法,分类分析方法,聚类分析判别分析定性资料分析遗传算法,相关分析方法,定性资料分析5.主成分析回归分析6.因子分析典型相关分析7.对应分析神经网络,回归分析4.因子分析聚类分析5.对应分析主成分分析,二、统计分析方法的分类,内蒙古财经学院工商管理学院,统计分析不能替代.,好的简报好的研究方案设计好的运作执行和质量控制你和你的研究小组清晰的思路你更好的理解正常人（非市场研究人员）如何思考和认识你所研究的市场但是统计分析是一种非常重要的研究方法，你将回在工作中接触和使用它,三、统计分析方法的作用域,聚类分析,内蒙古财经学院工商管理学院,目录,聚类和聚类分析的概念聚类分析的目的和原理距离和相似系数均值聚类和分层聚类聚类分析方法使用注意事项聚类分析方法的局限性聚类方法在管理领域的应用,内蒙古财经学院工商管理学院,岗位评估就是确定某岗位对企业或组织战略实现和未来发展相对价值。只有明确了各个岗位对企业或组织发展的重要程度，才能有针对性的设计薪酬结构和薪酬水平。聚类分析可以确定岗位级别。企业文化被喻为“企业生命常青藤”，既具有其独特性，也具有很强的通用性，处于不同行业，从事不同业务的企业间往往具有相似的企业文化要素特征。运用聚类分析方法，根据企业文化的要素特征帮助人们从定量的角度识别企业文化的类别，这有助于具有相似企业文化特征的企业间相互借鉴。商业竞争中存在帕累托法则，即企业20%的客户贡献了80%的利润。通过聚类分析可以将价值客户群分为有价值易流失的客户群、有价值稳定的客户群、低价值不稳定的客户群和低价值稳定的客户群，从而针对不同的客户群，采取不同的服务、推销和价格策略来稳定有价值的客户，转化低价值的客户，消除没有价值的客户。,一、聚类和聚类分析的概念,引例,内蒙古财经学院工商管理学院,把研究目标分割成为具有相同属性的小的群体,VariableB,VariableA,Correspondencematrix,.,.,.,一、聚类和聚类分析的概念,聚类,内蒙古财经学院工商管理学院,聚类分析,对于一个数据，人们既可以对变量（指标）进行分类(相当于对数据中的列分类)，也可以对观测值（事件，样品）来分类（相当于对数据中的行分类）。比如学生成绩数据就可以对学生按照理科或文科成绩（或者综合考虑各科成绩）分类，当然，并不一定事先假定有多少类，完全可以按照数据本身的规律来分类。聚类分析（clusteranalysis）分为R型聚类和Q型聚类。对变量的聚类称为R型聚类，而对观测值聚类称为Q型聚类。这两种聚类在数学上是对称的，没有什么不同。,聚类分析,内蒙古财经学院工商管理学院,聚类分析的目的,根据已知数据，计算各观察个体或变量之间亲疏关系的统计量（距离或相关系数）。根据某种准则（最短距离法、最长距离法、中间距离法、重心法），使同一类内的差别较小，而类与类之间的差别较大，最终将观察个体或变量分为若干类。,二、聚类分析目的和原理,内蒙古财经学院工商管理学院,我们所研究的样品或指标（变量）之间存在程度不同的相似性（亲疏关系）。于是根据一批样品的多个观测指标，具体找出一些能够度量样品或指标之间相似程度的统计量，以这些统计量为划分类型的依据。把一些相似程度较大的样品（或指标）聚合为一类，把另外一些彼此之间相似程度较大的样品（或指标）又聚合为另一类，关系密切的聚合到一个小的分类单位，关系疏远的聚合到一个大的分类单位，直到把所有的样品（或指标）聚合完毕，这就是分类的基本思想。,二、聚类分析的目的和原理,聚类分析的原理,内蒙古财经学院工商管理学院,如何度量远近？,如果想要对100个学生进行分类，如果仅仅知道他们的数学成绩，则只好按照数学成绩来分类；这些成绩在直线上形成100个点。这样就可以把接近的点放到一类。如果还知道他们的物理成绩，这样数学和物理成绩就形成二维平面上的100个点，也可以按照距离远近来分类。三维或者更高维的情况也是类似；只不过三维以上的图形无法直观地画出来而已。在饮料数据中，每种饮料都有四个变量值。这就是四维空间点的问题了。,三、距离和相似系数,内蒙古财经学院工商管理学院,两个距离概念,按照远近程度来聚类需要明确两个概念：一个是点和点之间的距离，一个是类和类之间的距离。点间距离有很多定义方式。最简单的是歐氏距离，还有其他的距离。当然还有一些和距离相反但起同样作用的概念，比如相似性等，两点越相似度越大，就相当于距离越短。由一个点组成的类是最基本的类；如果每一类都由一个点组成，那么点间的距离就是类间距离。但是如果某一类包含不止一个点，那么就要确定类间距离，类间距离是基于点间距离定义的：比如两类之间最近点之间的距离可以作为这两类之间的距离，也可以用两类中最远点之间的距离作为这两类之间的距离；当然也可以用各类的中心之间的距离来作为类间距离。在计算时，各种点间距离和类间距离的选择是通过统计软件的选项实现的。不同的选择的结果会不同，但一般不会差太多。,三、距离和相似系数,内蒙古财经学院工商管理学院,向量x=(x1,xp)与y=(y1,yp)之间的距离,欧氏距离:Euclidean,平方欧氏距离:SquaredEuclidean,Chebychev:Maxi|xi-yi|,Block(绝对距离):Si|xi-yi|,Minkowski:,兰氏距离:Lance,三、距离和相似系数,内蒙古财经学院工商管理学院,向量x=(x1,xp)与y=(y1,yp)之间相似系数,夹角余弦(相似系数1):cosine,Pearsoncorrelation(相似系数2):,三、距离和相似系数,内蒙古财经学院工商管理学院,最短距离法:,最长距离法:,重心法:,离差平方和:(Wald),类平均法:,类Gp与类Gq之间的距离Dpq,三、距离和相似系数,内蒙古财经学院工商管理学院,事先要确定分多少类：k-均值聚类,前面说过，聚类可以走着瞧，不一定事先确定有多少类；但是这里的k-均值聚类（k-meanscluster，也叫快速聚类，quickcluster）却要求你先说好要分多少类。看起来有些主观，是吧！假定你说分3类，这个方法还进一步要求你事先确定3个点为“聚类种子”(SPSS软件自动为你选种子)；也就是说，把这3个点作为三类中每一类的基石。然后，根据和这三个点的距离远近，把所有点分成三类。再把这三类的中心（均值）作为新的基石或种子（原来的“种子”就没用了），重新按照距离分类。如此叠代下去，直到达到停止叠代的要求（比如，各类最后变化不大了，或者叠代次数太多了）。显然，前面的聚类种子的选择并不必太认真，它们很可能最后还会分到同一类中呢。下面用饮料例的数据来做k-均值聚类。,四、聚类分析方法分类,内蒙古财经学院工商管理学院,饮料数据,四、聚类分析方法分类,内蒙古财经学院工商管理学院,假定要把这16种饮料分成3类。,四、聚类分析方法分类,内蒙古财经学院工商管理学院,分类结果是：第一类为饮料1、10；第二类为饮料2、4、8、11、12、13、14；第三类为剩下的饮料3、5、6、7、9、15、16。,四、聚类分析方法的分类,内蒙古财经学院工商管理学院,事先不用确定分多少类：分层聚类,另一种聚类称为分层聚类或系统聚类（hierarchicalcluster）。开始时，有多少点就是多少类。它第一步先把最近的两类（点）合并成一类，然后再把剩下的最近的两类合并成一类；这样下去，每次都少一类，直到最后只有一大类为止。显然，越是后来合并的类，距离就越远。再对饮料例子来实施分层聚类。,四、聚类分析方法的分类,内蒙古财经学院工商管理学院,聚类分析,内蒙古财经学院工商管理学院,聚类结果主要受所选择的变量影响。如果去掉一些变量，或者增加一些变量，结果会很不同。相比之下，聚类方法的选择则不那么重要了。因此，聚类之前一定要目标明确。另外就分成多少类来说，也要有道理。虽然从分层聚类的计算机结果可以得到任何可能数量的类。但是，聚类的目的是要使各类之间的距离尽可能地远，而类中点的距离尽可能的近，而且分类结果还要有令人信服的解释。这一点就不是数学可以解决的了。,五、聚类分析方法使用时应注意的问题,内蒙古财经学院工商管理学院,首先，聚类结果要明确就需分离度很好（well-separated）的数据。几乎所有现存的算法都是从互相区别的不重叠的类数据中产生同样的聚类。但是，如果类是扩散且互相渗透，那么每种算法的的结果将有点不同。每种聚类算法得到各自的最适结果，每个数据部分将产生单一的信息。为解释因不同算法使同样数据产生不同结果，必须注意判断不同的方式。正确解释来自任一算法的聚类内容的实际结果是困难的（特别是边界）。最终，将需要经验可信度通过序列比较来指导聚类解释。其次，由线性相关产生的局限性。上述的所有聚类方法分析的仅是简单的一对一的关系。因为只是成对的线性比较，大大减少发现表达类型关系的计算量，但忽视了生物系统多因素和非线性的特点。,六、聚类分析的局限性,内蒙古财经学院工商管理学院,生产运作管理财务管理产业结构与产业集群营销、人力资源管理供应链管理创新管理、企业文化其他,%,七、聚类分析在管理领域的应用举例,聚类分析方法应用分布示意图,内蒙古财经学院工商管理学院,七、聚类分析在管理领域的应用举例,聚类分析应用之论文题目清单,内蒙古财经学院工商管理学院,七、聚类分析在管理领域的应用举例,聚类分析应用之论文题目取样清单,内蒙古财经学院工商管理学院,七、聚类分析在管理领域的应用举例,实例分析：聚类法在基于产品属性重要度的市场细分中的应用,内蒙古财经学院工商管理学院,七、聚类分析在管理领域的应用举例,实例分析,内蒙古财经学院工商管理学院,七、聚类分析在管理领域的应用举例,实例分析,内蒙古财经学院工商管理学院,七、聚类分析在管理领域的应用举例,实例分析,内蒙古财经学院工商管理学院,七、聚类分析在管理领域的应用举例,实例分析,内蒙古财经学院工商管理学院,七、聚类分析在管理领域的应用举例,实例分析,内蒙古财经学院工商管理学院,七、聚类分析在管理领域的应用举例,实例分析,在上图中，纵坐标是阀值，横坐标是客户编号，可以清楚地看出在不同的阀值下，不同用户的聚类情况。例如，在阀值=0.24时，13单独为一类，其他客户为一类。在又=0.16时，1，5为一类，13为一类，其他客户为一类。,内蒙古财经学院工商管理学院,结束，谢谢！敬请指教,
展开阅读全文