资源描述
.第五章聚类分析5.1 判别分析和聚类分析有何区别？答：即根据一定的判别准则，判定一个样本归属于哪一类。具体而言，设有n个样本，对每个样本测得p项指标（变量）的数据，已知每个样本属于k个类别（或总体）中的某一类，通过找出一个最优的划分，使得不同类别的样本尽可能地区别开，并判别该样本属于哪个总体。聚类分析是分析如何对样品（或变量）进行量化分类的问题。在聚类之前，我们并不知道总体，而是通过一次次的聚类，使相近的样品（或变量）聚合形成总体。通俗来讲，判别分析是在已知有多少类与是什么类的情况下进行分类，而聚类分析是在不知道类的情况下进行分类。5.2 试述系统聚类的基本思想。答：系统聚类的基本思想是：距离相近的样品（或变量）先聚成类，距离相远的后聚成类，过程一直进行下去，每个样品（或变量）总能聚到适宜的类中。5.3 对样品和变量进行聚类分析时，所构造的统计量分别是什么？简要说明为什么这样构造？答：对样品进行聚类分析时，用距离来测定样品之间的相似程度。因为我们把n个样本看作p维空间的n个点。点之间的距离即可代表样品间的相似度。常用的距离为（一）闵可夫斯基距离：q取不同值，分为（1）绝对距离（）（2）欧氏距离（）（3）切比雪夫距离（）（二）马氏距离（三）兰氏距离对变量的相似性，我们更多地要了解变量的变化趋势或变化方向，因此用相关性进行衡量。将变量看作p维空间的向量，一般用（一）夹角余弦（二）相关系数5.4 在进行系统聚类时，不同类间距离计算方法有何区别？选择距离公式应遵循哪些原则？答：设dij表示样品Xi与Xj之间距离，用Dij表示类Gi与Gj之间的距离。（1）. 最短距离法（2）最长距离法（3）中间距离法其中（4）重心法（5）类平均法（6）可变类平均法其中b是可变的且b 1（7）可变法其中b是可变的且b 1（8）离差平方和法通常选择距离公式应注意遵循以下的基本原则：（1）要考虑所选择的距离公式在实际应用中有明确的意义。如欧氏距离就有非常明确的空间距离概念。马氏距离有消除量纲影响的作用。（2）要综合考虑对样本观测数据的预处理和将要采用的聚类分析方法。如在进行聚类分析之前已经对变量作了标准化处理，则通常就可采用欧氏距离。（3）要考虑研究对象的特点和计算量的大小。样品间距离公式的选择是一个比较复杂且带有一定主观性的问题，我们应根据研究对象的特点不同做出具体分折。实际中，聚类分析前不妨试探性地多项选择择几个距离公式分别进行聚类，然后对聚类分析的结果进行对比分析，以确定最适宜的距离测度方法。5.5试述K均值法与系统聚类法的异同。答：相同：K均值法和系统聚类法一样，都是以距离的远近亲疏为标准进行聚类的。不同：系统聚类对不同的类数产生一系列的聚类结果，而K均值法只能产生指定类数的聚类结果。具体类数的确定，离不开实践经验的积累；有时也可以借助系统聚类法以一部分样品为对象进行聚类，其结果作为K均值法确定类数的参考。5.6 试述K均值法与系统聚类有何区别？试述有序聚类法的基本思想。答：K均值法的基本思想是将每一个样品分配给最近中心（均值）的类中。系统聚类对不同的类数产生一系列的聚类结果，而K均值法只能产生指定类数的聚类结果。具体类数的确定，有时也可以借助系统聚类法以一部分样品为对象进行聚类，其结果作为K均值法确定类数的参考。有序聚类就是解决样品的次序不能变动时的聚类分析问题。如果用表示个有序的样品，则每一类必须是这样的形式，即，其中且，简记为。在同一类中的样品是次序相邻的。一般的步骤是（1）计算直径D（i,j）。（2）计算最小分类损失函数Lp(l,k)。(3)确定分类个数k。（4）最优分类。5.7 检测某类产品的重量，抽了六个样品，每个样品只测了一个指标，分别为1，2，3，6，9，11.试用最短距离法，重心法进行聚类分析。（1）用最短距离法进行聚类分析。采用绝对值距离，计算样品间距离阵 0 1 0 2 1 0 5 4 3 0 8 7 6 3 0 10 9 8 5 2 0由上表易知中最小元素是于是将，聚为一类，记为计算距离阵 0 3 0 6 3 0 8 5 2 0 中最小元素是=2 于是将，聚为一类，记为计算样本距离阵 0 3 0 6 3 0中最小元素是于是将，聚为一类，记为因此，（2）用重心法进行聚类分析计算样品间平方距离阵 0 1 0 4 1 0 25 16 9 0 64 49 36 9 0 100 81 64 25 4 0易知中最小元素是于是将，聚为一类，记为计算距离阵 0 16 0 49 9 0 81 25 4 0 注：计算方法,其他以此类推。中最小元素是=4 于是将，聚为一类，记为计算样本距离阵 0 16 0 64 16 0中最小元素是于是将，聚为一类，记为因此，5.8 下表是15个上市公司2001年的一些主要财务指标，使用系统聚类法和K均值法分别对这些公司进行聚类，并对结果进行比较分析。公司编号净资产收益率每股净利润总资产周转率资产负债率流动负债比率每股净资产净利润增长率总资产增长率111.090.210.0596.9870.531.86-44.0481.99211.960.590.7451.7890.734.957.0216.11300.030.03181.99100-2.98103.3321.18411.580.130.1746.0792.181.146.55-56.325-6.19-0.090.0343.382.241.52-1713.5-3.366100.470.4868.4864.7-11.560.85710.490.110.3582.9899.871.02100.2330.32811.12-1.690.12132.14100-0.66-4454.39-62.7593.410.040.267.8698.511.25-11.25-11.43101.160.010.5443.71001.03-87.18-7.411130.220.160.487.3694.880.53729.41-9.97128.190.220.3830.311002.73-12.31-2.771395.79-5.20.5252.3499.34-5.42-9816.52-46.821416.550.350.9372.3184.052.14115.95123.4115-24.18-1.160.7956.2697.84.81-533.89-27.74解:令净资产收益率为X1，每股净利润X2，总资产周转率为X3，资产负债率为X4，流动负债比率为X5，每股净资产为X6，净利润增长率为X7，总资产增长率为X8，用spss对公司聚类分析的步骤如下：a) 系统聚类法:1. 在SPSS窗口中选择AnalyzeClassifyHierachical Cluster，调出系统聚类分析主界面，并将变量移入Variables框中。在Cluster栏中选择Cases单项选择按钮，即对样品进行聚类（若选择Variables，则对变量进行聚类）。在Display栏中选择Statistics和Plots复选框，这样在结果输出窗口中可以同时得到聚类结果统计量和统计图。图5.1 系统分析法主界面2. 点击Statistics按钮，设置在结果输出窗口中给出的聚类分析统计量。我们选择Agglomeration schedule与Cluster Membership中的Range of solution 2-4，如图5.2所示，点击Continue按钮，返回主界面。（其中，Agglomeration schedule表示在结果中给出聚类过程表，显示系统聚类的详细步骤；Proximity matrix 表示输出各个体之间的距离矩阵；Cluster Membership 表示在结果中输出一个表，表中显示每个个体被分配到的类别，Range of solution 2-4即将所有个体分为2至4类。）3. 点击Plots按钮，设置结果输出窗口中给出的聚类分析统计图。选中Dendrogram复选框和Icicle栏中的None单项选择按钮，如图5.3，即只给出聚类树形图，而不给出冰柱图。单击Continue按钮，返回主界面。图5.2 Statistics子对话框图5.3Plots子对话框4. 点击Method按钮，设置系统聚类的方法选项。Cluster Method下拉列表用于指定聚类的方法，这里选择Between-group inkage（组间平均数连接距离）；Measure栏用于选择对距离和相似性的测度方法，选择Squared Euclidean distance（欧氏距离）；单击Continue按钮，返回主界面。图5.4 Method子对话框图5.5 Save子对话框5. 点击Save按钮，指定保存在数据文件中的用于说明聚类结果的新变量。None表示不保存任何新变量；Single solution表示生成一个分类变量，在其后的矩形框中输入要分成的类数；Range of solutions表示生成多个分类变量。这里我们选择Range of solutions，并在后面的两个矩形框中分别输入2和4，即生成三个新的分类变量，分别说明将样品分为2类、3类和4类时的聚类结果,如图5.5。点击Continue，返回主界面。6. 点击OK按钮，运行系统聚类过程。聚类结果分析:下面的群集成员表给出了把公司分为2类，3类，4类时各个样本所属类别的情况，另外，从右边的树形图也可以直观地看到，若将15个公司分为2类，则13独自为一类，其余的为一类；若分为3类，则公司8分离出来，自成一类。以此类推。表5.1 各样品所属类别表图5.6 聚类树形图b) K均值法的步骤如下：1. 在SPSS窗口中选择AnalyzeClassifyK-Means Cluster，调出K均值聚类分析主界面，并将变量X1-X8移入Variables框中。在Method框中选择Iterate classify，即使用K-means算法不断计算新的类中心，并替换旧的类中心（若选择Classifyonly，则根据初始类中心进行聚类，在聚类过程中不改变类中心）。在Number of Cluster后面的矩形框中输入想要把样品聚成的类数，这里我们输入3，即将15个公司分为3类。（Centers按钮，则用于设置迭代的初始类中心。如果不手工设置，则系统会自动设置初始类中心，这里我们不作设置。）图5.7 K均值聚类分析主界面2. 点击Iterate按钮，对迭代参数进行设置。Maximum Iterations参数框用于设定K-means算法迭代的最大次数，输入10，Convergence Criterion参数框用于设定算法的收敛判据，输入0，只要在迭代的过程中先满足了其中的参数，则迭代过程就停止。单击Continue，返回主界面。图5.8 Iterate子对话框3. 点击Save按钮，设置保存在数据文件中的说明聚类结果的新变量。我们将两个复选框都选中，其中Cluster membership选项用于建立一个代表聚类结果的变量，默认变量名为qcl_1；Distance from cluster center选项建立一个新变量，代表各观测量与其所属类中心的欧氏距离。单击Continue按钮返回。图5.9 Save子对话框4. 点击Options按钮，指定要计算的统计量。选中Initial cluster centers和Cluster information for each case复选框。这样，在输出窗口中将给出聚类的初始类中心和每个公司的分类信息，包括分配到哪一类和该公司距所属类中心的距离。单击Continue返回。图5.10 Options子对话框5. 点击OK按钮，运行K均值聚类分析程序。聚类结果分析:以下三表给出了各公司所属的类与其与所属类中心的距离，聚类形成的类的中心的各变量值以与各类的公司数。由以上表格可得公司13与公司8各自成一类，其余的公司为一类。通过比较可知，两种聚类方法得到的聚类结果完全一致。5.9下表是某年我国16个地区农民支出情况的抽样调查数据，每个地区调查了反映每人平均生活消费支出情况的六个经济指标。试通过统计分析软件用不同的方法进行系统聚类分析，并比较何种方法与人们观察到的实际情况较接近。地区食品衣着燃料住房交通和通讯娱乐教育文化190.3343.779.7360.5449.019.04135.236.410.4744.1636.493.9495.2122.839.322.4422.812.8104.7825.116.49.8918.173.25蒙128.4127.638.9412.5823.992.27145.6832.8317.7927.2939.093.47159.3733.3818.3711.8125.295.22116.2229.5713.2413.7621.756.04221.1138.6412.53115.6550.825.89144.9829.1211.6742.627.35.74169.9232.7512.7247.1234.355135.1123.0915.6223.5418.186.39144.9221.2616.9619.5221.756.73140.5421.517.6419.1915.974.94115.8430.2612.233.633.773.85101.1823.268.4620.220.54.3解:令食品支出为X1，衣着支出为X2，燃料支出为X3，住房支出为X4，交通和通讯支出为X5，娱乐教育文化支出为X6，用spss对16各地区聚类分析的步骤如5.8题，不同的方法在第4个步骤的Method子对话框中选择不同的Cluster method。1. Between-group inkage（组间平均数连接距离）上表给出了把全国16个地区分为2类、3类和4类时，各地区所属的类别，另外从右边的树形图也可以直观地观察到，若用组间平均数连接距离将这些地区分为3类，则9（）独自为一类，1（）和11（）为一类，剩余地区为一类。2. Within-group linkage（组平均连接距离）若用组平均数连接距离将这些地区分为3类，则9（）独自为一类，1（）独自为一类，剩余地区为一类。3. Nearest neighbor（最短距离法）若用最短距离法将这些地区分为3类，则9（）独自为一类，1（）独自为一类，剩余地区为一类。4. Furthest neighbor（最远距离法）若用最远距离法将这些地区分为3类，则9（）独自为一类，1（）和11（）为一类，剩余地区为一类。5. Centroid cluster（重心法）若用重心法将这些地区分为3类，则9（）独自为一类，1（）和11（）为一类，剩余地区为一类。6. Median cluster（中位数距离）若用中位数距离法将这些地区分为3类，则9（）独自为一类，1（）和11（）为一类，剩余地区为一类。7. Ward method（离差平方和）若用离差平方和法将这些地区分为3类，则9（），1（）和11（）为一类，2（）、6（）、7（）、10（）、12（）、13（）和14（）为一类，剩余地区为一类。5.10 根据上题数据通过SPSS统计分析软件进行快速聚类运算，并与系统聚类分析结果进行比较。解：快速聚类运算即K均值法聚类，具体步骤同5.8，聚类结果如下：聚类的结果为9（）独自为一类，1（）、2（）、6（）、7（）、10（）、11（）、13（）和14（）为一类，剩余地区为一类。5.11下表是2003年我国省会城市和计划单列市的主要经济指标：人均GDP（元）、人均工业产值（元）、客运总量（万人）、货运总量（万吨）、地方财政预算收入（亿元）、固定资产投资总额（亿元）、在岗职工占总人口的比例（）、在岗职工人均工资额（元）、城乡居民年底储蓄余额（亿元）。试通过统计分析软件进行系统聚类分析，并比较何种方法与人们观察到的实际情况较接近。城市31886331683052030671593200037.8253126441264334373235073467920593418.818648182515134131591184310008494169.512306104415752158312975152483319722.812679660呼和浩特1899111257350841552118213.51411625523268154466612146368155714.81496114232914527615110012108111140714.717560131018630210456999108924629412.513870831148257561645895187642317.71245111544658677083721263861899227421.02730560552754743853167901480513679415.42219011343266749823213491681515071711.82466714663254347904249381379713955510.9236911060106211171460344641362458.3139013592228121310968082506737611.8150538765359093126444130557023838.619024397142219205572844543121011.01391348323437226345810143547642913.5160277582470535506146663055312054814.51533590816674140231070978476637312.7135381048212781708311882166108062317.413730128615446887310609106316043410.01698770548220554042975128859275108925.128805372719183834751910989679329187569.63105321998176339070165893361708.3131714511644214553132843304129916.51481928471905076582903245016211876.512440189717914928972793287989078811.915274149411046103501851153184023115.81218134516215116015126123386034214.6142557091314089131141393926544615.91350512111445917136220955812120318.013489468706656052788203787610.1146291751178711013214621271213421.913497193乌鲁木齐22508171372188127544118026.11650942031886331683052030671593200037.8253126441264334373235073467920593418.8186481825资料来源：中国统计年鉴2004解:用spss对37个地区聚类分析的步骤如5.8题，不同的方法在第4个步骤的Method子对话框中选择不同的Cluster method。1.Between-group inkage（组间平均数连接距离）从上面的树形图可以直观地观察到，若用组间平均数连接距离将这些地区分为3类，则24（）独自为一类，10（）和16（）为一类，剩余地区为一类。2.Within-group linkage（组平均连接距离）若用组平均数连接距离将这些地区分为3类，则24（）独自为一类，27（）和28()为一类，剩余地区为一类。3. Nearest neighbor（最短距离法）若用最短距离法将这些地区分为2类，则24（）独自为一类，剩余地区为一类。4.Furthest neighbor（最远距离法）若用最远距离法将这些地区分为3类，则24（）独自为一类，1（）、2（）、7（）、10（）、11（）、12（）、13（）、16（）、19（）、23（）、36（）和37（）为一类，剩余地区为一类。5.Centroid cluster（重心法）若用重心法将这些地区分为3类，则24（）独自为一类，10（）和16（）为一类，剩余地区为一类。6.Median cluster（中位数距离）若用中位数距离法将这些地区分为3类，则24（）独自为一类，1（）、2（）、7（）、10（）、11（）、12（）、13（）、16（）、19（）、23（）、36（）和37（）为一类，剩余地区为一类。7.Ward method（离差平方和）若用离差平方和法将这些地区分为3类，则24（）独自为一类，1（）、2（）、7（）、10（）、11（）、12（）、13（）、16（）、19（）、23（）、36（）和37（）为一类，剩余地区为一类。经过比较，各种方法得到的结果又相似点也有不同点。笔者认为，其中最远距离法、中位数距离、离差平方和这三种方法所得到的结果与现实生活中人们的感觉比较相近。5.12 下表是我国1991-2003年的固定资产投资价格指数，试对这段时期进行分段，并据此对我国固定资产投资的价格变化情况进行分析。年份1991199219931994199519961997指数109.5115.3126.6110.4105.9104.0101.7年份199819992000200120022003指数99.899.6101.1100.4100.2100.219 / 19
展开阅读全文