第16章非参数检验课件

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第16章 非参数检验,第16章 非参数检验,1,前面学过的参数估计和假设检验都是以总体分布已知或对分布作一定假设为前提的，我们称这类统计推断为参数统计。,但在许多实际问题中，我们不知道总体分布的情况，即使对总体的分布进行了假设，但很可能这类假设与真实情况不符。因此参数统计在一些情况下不再适用。,前面学过的参数估计和假设检验都是以总体分布已知或对分布作一定,2,非参数统计：,对总体分布的形式不必做任何限制性假定，不以估计总体参数为目的的推断统计。,这种统计主要用于对某种判断或假设进行检验，故亦称非参数检验。,应当指出，这里所谓的“非参数”，只是指在检验的过程中，未对检验统计量服从的分布及参数做出限制，并不意味着在检验中“不涉及参数”或“不对参数进行检验”。,非参数统计：,3,非参数方法适用的数据测量尺度,数据的集中测量尺度：,1. 名义尺度（定类）：表示个体属性或类别，可以用数值表示，也可用非数值表示,2. 序数尺度（定序）：对观测值排序或排秩，有顺序之分。,3. 区间尺度（定距）：数据具有顺序特性，且用于衡量数据间的差异，必须是数值型。,4. 比例尺度（定比）：数据具有区间特性，且数据的比例关系有意义，必须是数值型。,非参数方法适用的数据测量尺度数据的集中测量尺度：,4,非参数检验可用的场合：,1.名义尺度、序数尺度（以上两类数据的方差、均值和标准差计算都没有意义）,2.在无法对总体概率分布做出假定时，用于区间尺度和比例尺度。,非参数检验可用的场合：,5,非参数检验的优点：,1. 检验条件比较宽松，适应性强。,2. 检验的方法比较灵活，用途更广泛。,3. 检验计算相对简单，易于理解。,非参数检验的缺点：,1. 检验功效较低。,2. 信息损耗较多。,结论：参数检验与非参数检验是针对不同情况提出的两种统计方法，它们各有优缺点，可互为补充。,非参数检验的优点：,6,符号检验,1.定义,忽略具体量的差异，仅用差异的正负号来做判断的一种检验方法。适用于对无法以数字计量的情况进行比较。,2.检验步骤,(1)确定配对样本，分别计算差异正与负的数目，无差异记做0，并将它从样本中删除，相应减少样本容量n。,符号检验1.定义,7,(2)建立假设：H0:P=0.5;Ha:P0.5,(3)观察样本容量：,若n20,做二项分布处理；若n20,做近似正态分布处理。,(4)设定显著性水平，查表确定临界值，进行判断和比较。,(2)建立假设：H0:P=0.5;Ha:P0.5,8,3. 符号检验的小样本情形,例：某软饮料公司想了解消费者对目前市场上的两种饮料（Citrus valley和Tropical Orange）的偏好情况，以确定消费者对其中一种是否偏爱。,以p表示消费者总体中偏爱Citrus Valley的比率，以符号来记录消费者个体的偏好。用“+”来表示偏爱Citrus Valley，用“-”来表示偏爱Tropical Orange。,3. 符号检验的小样本情形,9,我们检验的假设设定分别为：,H0: p=0.5;Ha:p0.5,若原假设为真，则”+”的个数（记为 ）应服从p=0.5的二项分布。,若令显著性水平定为0.05，拒绝域为？,回忆二项分布的概率函数。,我们检验的假设设定分别为：,10,因为,因此，当显著水平设定为5%时，拒绝域为 9。,因为,11,我们列出样本消费者对这两种饮料的偏好记录：,消费者,品牌倾向,符号记录,1,Tropical Orange,-,2,Tropical Orange,-,3,Citrus Valley,+,4,Tropical Orange,-,5,Tropical Orange,-,6,Tropical Orange,-,7,Tropical Orange,-,8,Tropical Orange,-,9,Citrus Valley,+,10,Tropical Orange,-,11,Tropical Orange,-,12,Tropical Orange,-,我们列出样本消费者对这两种饮料的偏好记录：消费者品牌倾向符号,12,以p表示消费者总体中偏爱Citrus Valley的比率， 的个数为2，恰好落入了之前分析的拒绝域中，因此拒绝H0的假设。即消费者对两种品牌的偏爱存在差异。消费者更偏爱的品牌是Tropical Orange.,以p表示消费者总体中偏爱Citrus Valley的比率，,13,4. 大样本情形(n20),例：,60名消费者,被随机选出对A、B两种牌子的洗发水打分，规定分数从5到1，分数越高说明评价越好。,收集的数据如下：,消费者,品牌A的得分,品牌B的得分,符号记录,1,3,4,-,2,2,5,-,3,4,2,+,4,3,3,0,5,5,4,-,6,2,2,0,我们将,配对的样本,得分之差做符号记录,4. 大样本情形(n20)消费者品牌A的得分品牌B的得分符,14,汇总的结果：“+”表示A品牌的分数高于B品牌的分数，“-”则相反，若两品牌的得分一致，我们给0值。“”的个数为15个，“”的个数为35个，“0”为10个。,通过这样的整理以后，问两张洗发水受欢迎程度是否不同？,汇总的结果：“+”表示A品牌的分数高于B品牌的分数，“-”则,15,令p表示为得到“”号的概率， 表示为号个数,检验的假设设定为：H0:p=0.5;Ha:p0.5,统计量的选择：在大样本下，若H0为真，加号个数 服从正态分布，均值为u=0.5n，标准差为,令p表示为得到“”号的概率， 表示为号个数,16,因此，在H0为真的情况下，选择Z统计量，,服从标准正态分布。,此时的Z统计量同样可以由下式表示：,为样本中正号出现,的频率（此时需先删除0差,异样本点的影响）,因此，在H0为真的情况下，选择Z统计量，,17,拒绝规则：,如果|z|Z(a)，拒绝H0。,在本例中，,计算的统计量,或,拒绝规则：,18,在显著水平5%下，由于|z|=2.831.96,拒绝H0。认为两个牌子受欢迎程度不同，B品牌洗发水更受消费者青睐。,注意例题中的n取值：n=50,而不是60,在显著水平5%下，由于|z|=2.831.96,19,假设某地区居民在经济改革前的经济状况记作变量,X,，改革后的经济状况记作变量,Y,。第j户居民改革前后的经济状况分别 和 。二者之间的变化记作 。,请注意，现在我们不关心具体数值，只关心它的符号。,假设某地区居民在经济改革前的经济状况记作变量X，改革后的经济,20,如果改革没有引起居民经济情况的变化，那么居民经济情况的前后差异就完全是由于各种随机因素的影响形成的（假定其它重要的影响因素都已控制不变），于是正差值的个数与负差值的个数会大体相等。把0差值舍去后，相当于对总体（正差值与负差值组成的总体）作二项试验，每次试验出现正号的概率是,p,=0.5。,相反，如果改革引起了居民经济情况的明显好转，则正差值的个数会比负差值的个数多。对正差值与负差值组成的总体作二项试验，每次试验出现正号的概率是,p,0.5。,如果改革没有引起居民经济情况的变化，那么居民经济情况的前后差,21,检验所针对的原假设是：H,0,:改革没有引起居民经济情况的变化（总体X改革前的经济状况与总体Y改革后的经济状况没有差别），或,H,0,:,p,=0.5。,建立原假设为真前提下的下列检验统计量：,表示为配对样本d为正的频率。,检验所针对的原假设是：H0:改革没有引起居民经济情况的变化,22,关于,中位数,的假设检验,（运用符号检验对单总体位置特征的实例）,中位数是将总体分成均等两部分的一个分位数，其中50%位于中位数以上，另外50%位于中位数以下。,我们可以利用符号检定来对总体的中位数进行假设检验。,关于中位数的假设检验 （运用符号检验对单总体位置特征的实例）,23,例：在62所新住宅组成的样本中，34所住宅的价格高于13万美元，26所住宅的价格低于13万美元，2所住宅的价格恰好为13美元。要求检验新住宅价格的中位数是否为13万美元？,如何利用符号进行检验？,当样本数据大于所假设的中位数时，我们用正号标注，反之用负号标注，若样本数据恰等于中位数时，我们用0标注，并将其从样本中删除。,例：在62所新住宅组成的样本中，34所住宅的价格高于13万美,24,关于中位数的假设检验有如下设定：,H0: Median=13;Ha:Median13,大样本下，H0为真的前提下，样本数据大于中位数的个数 近似服从均值为0.5n，方差为0.25n的正态分布。,即选择统计量Z,关于中位数的假设检验有如下设定：,25,根据统计量的抽样分布特点，推知当|z|Z(a)时，拒绝H0，否则，不能拒绝H0。,在显著水平5%下，由于1.03Z(a)时，拒绝H0,26,小结：,符号检验可用于单总体某个位置特征的检验（中位数检验）；也可用于两总体位置分布特征是否相同的检验。,但符号检验的缺点在于：仅利用差异方向或符号的正负做检验，而忽略了对差异多少的量的信息，因此对资料的利用不够充分。,小结：,27,Wilcoxon检验,该检验是不做正态分布假定的利用,匹配样本,检验,两总体间差异,的方法。,该检验利用的信息：除了匹配样本间的差异符号（方向），同时考虑了差异数值的大小。,同一个样本分别对两类方法进行试验，同时产生基于总体1和基于总体2的观察点。,Wilcoxon检验该检验是不做正态分布假定的利用匹配样本检,28,适用性：1.数据类型为区间尺度数据。,2. 假设成对观测值的差异总体服从正态分布。,检验步骤：,(1)计算带正、负号的差数d,(2)将d的,绝对值,按大小排序并编出等级(顺序号)，相邻的等值以其为序的平均数为等级，0差异被剔除。,(3)将差数原来的符号赋予每个等级，确定等级个数。,(4)将所有带符号的等级相加，求秩和并用T表示其值，原假设为T=0。,(5)计算统计量,(6)根据显著水平确定临界值，进行比较和判断。,适用性：1.数据类型为区间尺度数据。,29,注意到统计量Z的特点：,在H0为真，即H0:两总体均值相同的前提下，且n至少为10时，T（秩和）的抽样分布近似服从均值为0，方差为n(n+1)(2n+1)/6的正态分布。,注意到统计量Z的特点：,30,例：考察学生某课程的期中与期末考试成绩是否有明显差异？,期中,71,64,73,59,85,93,65,72,87,75,期末,82,69,79,58,85,86,67,92,94,72,例：考察学生某课程的期中与期末考试成绩是否有明显差异？期中7,31,学生编号,x1-x2,|x1-x2|,等级,符号等级,1,-11,11,8,8,2,-5,5,4,4,3,-6,6,5,5,4,+1,1,1,1,5,0,0,6,+7,7,6.5,6.5,7,-2,2,2,2,8,-20,20,9,9,9,-7,7,6.5,6.5,10,+3,3,3,3,T,24,剔除无差异样本点,学生编号x1-x2|x1-x2|等级符号等级1-11118,32,检验过程：,H0:期中与期末考试成绩无差异；,Ha:期中与期末考试成绩有差异,计算统计量Z：当H0为真时，Z服从标准正态分布,计算得：,检验过程：,33,由拒绝原则，,在显著水平5%下，临界值为1.96.,因为1.42,2,)，,W,将接近它的最大可能值；如果总体1的分布位于总体2的左边(,1,Z(a),拒绝H0，否则，不能拒绝H0,相应的：检验的规则为，,51,例：美国第三国民银行的两个分行的账户余额如下表所示：问是否由以上数据可以判断两分行的账户余额总体相同？,A行,余额,秩,B行,余额,秩,1,1095,20,1,885,7,2,955,14,2,850,4,3,1200,22,3,915,8,4,1195,21,4,950,12.5,5,925,9,5,800,2,6,950,12.5,6,750,1,7,805,3,7,865,5,8,945,11,8,1000,16,9,875,6,9,1050,18,10,1055,19,10,935,10,11,1025,17,12,975,15,两个或更多下相同数据，用平均秩赋值,例：美国第三国民银行的两个分行的账户余额如下表所示：问是否由,52,计算各总体样本的秩和,A分行的秩和T=169.5;B分行的秩和T=83.5,H0:两分行的账户余额总体相同；,Ha:两分行的账户余额总体不同,使用来自A分行的样本秩和T=169.5,若H0成立，则T的抽样分布在样本容量大于或等于10时近似正态。,计算各总体样本的秩和,53,由题意计算得到：,统计量,由于|z|1.96，故拒绝H0。认为两银行账户余额同体不同。,由题意计算得到：,54,克鲁斯卡尔-沃利斯Kruskal-Wallis检验,适用范围：考察多个总体是否相同的情形,适用数据：用于序数、区间或者比例尺度的数据。,当,正态分布假设以及方差相等,的检验未能满足时，K-W检验可以作为一种替代统计检验方法用于检验三个或三个以上总体是否相同。,方差分析的前提,克鲁斯卡尔-沃利斯Kruskal-Wallis检验适用范围：,55,大学A,大学B,大学C,25,60,50,70,20,70,60,30,60,85,15,80,95,40,90,90,35,70,80,75,例：某公司从,3所大学,聘用管理人员。最近该公司人事部评出雇员年度表现得分，以确定从三所大学招聘来的管理人员的表现是否有差异？,大学A大学B大学C256050702070603060851,56,检验步骤：,(1)将三样本数据混合排序，最低值等级为1，最高值等级为20.,(2)求每个总体样本的等级和,(3)计算相关统计量W,K总体个数,，ni为样本i的个数，Ri为样本i的秩和。可证明，在原假设即各个总体相同的前提下，,W近似服从自由度为k-1的卡方分布。,检验步骤：,57,按照以上规定进行混合排序后得到的结果如下：,大学A,秩,大学B,秩,大学C,秩,25,3,60,9,50,7,70,12,20,2,70,12,60,9,30,4,60,9,85,17,15,1,80,15.5,95,20,40,6,90,18.5,90,18.5,35,5,70,12,80,15.5,75,14,秩和,95,27,88,按照以上规定进行混合排序后得到的结果如下：大学A秩大学B秩大,58,K-W检验：,H0: 来自三所大学的管理人员表现相同,Ha:至少两所大学的管理人员表现有差异,由样本计算得到W统计量，在H0为真的前提下，W近似服从自由度为(3-1)的卡方分布,K-W检验：,59,由拒绝原则，当W 时，拒绝H0。,在显著水平5%下，卡方分布的临界值为5.9915,由于8.925.9915，因此拒绝H0,因此认为来自不同大学的管理人员，其业绩表现是明显不同的。其中B大学的管理人员表现水平最差，因此有理由减少从B大学招聘员工的数额。,由拒绝原则，当W 时，拒绝H0。,60,秩相关,之前讨论过的两变量间相关系数的前提是：两随机变量的联合分布是二维正态分布。当随机变量的分布不能满足正态性要求时，或者所要研究的变量不是数量型变量时，通常的相关分析方法不宜使用,秩相关之前讨论过的两变量间相关系数的前提是：两随机变量的联合,61,这里考虑只能得到顺序数据的两个变量间关系的度量,1. 斯皮尔曼秩相关系数,为变量1的第i项的等级(秩)； 为变量2的第i项的等级(秩)。,对X，Y两变量先分别排序，再在此基础上计算相关系数。,斯皮尔曼秩相关系数与应用于序数数据或排序数据的Pearson相关系数是相同的。,这里考虑只能得到顺序数据的两个变量间关系的度量,62,样本等级相关系数的取值范围是-1,r,s,1。,当,r,s,=1时，说明样本等级资料完全正相关；,当,r,s,= -1时，说明样本等级资料完全负相关；当,r,s,=0时，说明样本等级资料不相关；,当0,r,s,1时，,r,s,越接近1，正相关程度越高；,当-1,r,s,Z(a/2)，则拒绝H0。,因此选择Z统计量，即将样本秩相关系数进行标准化：,68,由本例对总体的秩相关系数进行检验：,H0: ；Ha:,在H0为真的前提下，且样本容量恰好为10，统计量Z服从标准正态分布，,由拒绝规则，知道2.211.96，因此拒绝H0的假设，认为总体的秩相关系数显著非零。,由本例对总体的秩相关系数进行检验：,69,说明：,有时，观察结果出现了相同的等级，这时，须计算这几个观察结果所在位置秩次的简单算术平均数作为它们相应的等级。在这种情形下应用斯皮尔曼等级相关系数计算公式所得之结果显然只是近似的。若相同等级不是太多，可以近似应用上述公式，否则应加以修正 。,说明：,70,作业,1.股票分析是否有利于股东？SNL证券公司对银行业18个月来的股票分拆进行了一项研究，发现股票分拆会导致个人持股者的股票价格上升。假设某个样本由20个最近的股票分拆案例组成，其中，有14个案例导致股票价值上升，4个案例导致股票价值下跌，2个没有发生任何变化。利用符号检验确定股票分拆是否一致对银行股持有者有利？,a: 零假设与备选假设,b:在显著水平5%下，给出拒绝规则,C：有何结论？,作业1.股票分析是否有利于股东？SNL证券公司对银行业18个,71,2.三种汽车在测试中所得的每加仑汽油形程里程。在显著水平5下，利用克鲁斯卡尔沃利斯检验来确定三种汽车的汽油行驶里程是否有显著的不同？,A,B,C,19,19,24,21,20,26,20,22,23,19,21,25,21,23,27,2.三种汽车在测试中所得的每加仑汽油形程里程。在显著水平5,72,3. 1996年职业高尔夫球手击球距离和击球杆数的排秩情况，在显著水平5%下，击球距离和击球杆数间的秩相关系数是多少？,选手,距离,杆数,1,1,5,2,5,6,3,4,10,4,9,2,5,6,7,6,10,3,7,2,8,8,3,9,9,7,4,10,8,1,3. 1996年职业高尔夫球手击球距离和击球杆数的排秩情况，,73,