13非参数检验

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,非参数检验,1,为什么用非参数方法？,经典统计的多数检验都假定了总体的背景分布。,但也有些没有假定总体分布的具体形式，仅仅依赖于数据观测值的相对大小（秩）或零假设下等可能的概率等和数据本身的具体总体分布无关的性质进行检验。,这都称为非参数检验。,2,为什么用非参数方法？,这些非参数检验在总体分布未知时有很大的优越性。这时如果利用传统的假定分布已知的检验，就会产生错误甚至灾难。,非参数检验总是比传统检验安全。,但是在总体分布形式已知时，非参数检验就不如传统方法效率高。这是因为非参数方法利用的信息要少些。往往在传统方法可以拒绝零假设的情况，非参数检验无法拒绝。,但非参数统计在总体未知时效率要比传统方法要高，有时要高很多。是否用非参数统计方法，要根据对总体分布的了解程度来确定。,3,非参数方法,这里介绍一些非参数检验。,关于非参数方法的确切定义并不很明确。我们就其最广泛的意义来理解。,在计算中，诸如列联表分析中的许多问题都有精确方法，Monte Carlo抽样方法和用于大样本的渐近方法等选择。精确方法比较费时间，后两种要粗糙一些，但要快些。,4,秩（rank）,非参数检验中秩是最常使用的概念。什么是一个数据的秩呢？一般来说，秩就是该数据按照升幂排列之后，每个观测值的位置。例如我们有下面数据,X,i,15,9,18,3,17,8,5,13,7,19,R,i,7,5,9,1,8,4,2,6,3,10,这下面一行（记为,R,i,）就是上面一行数据,X,i,的秩。,5,秩（rank）,利用秩的大小进行推断就避免了不知道背景分布的困难。这也是大多数非参数检验的优点。,多数非参数检验明显地或隐含地利用了秩的性质；但也有一些非参数方法没有涉及秩的性质。,6,列联表问题,前面讲过列联表的检验问题，并且用对数线性模型以及对于变量间独立性的,c,2,检验，这里不详细介绍。,这里介绍的检验可以检验列联表中某一个变量的各个水平是否有同样比例或者等于你所想象的比例。,每个检验都可以选择使用精确方法，Monte Carlo抽样方法或用于大样本的渐近方法。,利用数据table7.sav，假定你想知道收入的比例是否是5比4比1（零假设）。而且选择精确检验，你可以得到各种检验结果如下：,7,列联表问题,利用数据table7.sav，假定你想知道收入的比例是否是5比4比1（零假设）。而且选择精确检验，你可以得到各种检验结果如下：,8,列联表问题,该结果除了给出了精确检验的,p,值，表明无论还给出渐近检验的,p,值；两个都是,0.000；这表明零假设的比例欠妥,。输出还给出了第九章的,Pearson,统计量,中的,O,i,和,E,i,（分别为下表中的,Observed N和Expected N）：,9,列联表问题,如果要检验变量的水平是否都相等，从,SPSS,可以得到对这三个变量的检验（对每个变量的零假设是各水平影响相同）结果：,SPSS还分别给出对每个变量的Pearson,统计量,中的,O,i,和,E,i,。,10,SPSS软件使用说明,用table7.sav数据。假定已经加权了(number:权),选项为,AnalyzeNonparametric TestsChi Square。,然后,选择,想要检验的,变量,(如income），,如要检验其水平是否相等，则在,Expected Values,选,All categories equal,作为零假设（默认选择）；,如要检验其水平是否为某比例，则在下面,Values,输入你的比例（我们是5比4比1，逐个输入）作为零假设。,点Exact时打开的对话框中可以选择精确方法(Exact)，Monte Carlo抽样方法（Monte Carlo）或用于大样本的渐近方法（Asymptotic only）。,如果选入的变量多于一个，则检验的都是水平相等的零假设。最后OK即可。,11,单样本,Kolmogorov-Smirnov,检验,单样本的Kolmogorov-Smirnov检验（K-S检验）是用来检验一个数据的观测累积分布是否是已知的理论分布。,这些作为零假设的理论分布在SPSS的选项中有正态分布，Poisson分布，均匀分布和指数分布。在SPSS软件中对于是否是正态分布或均匀分布的检验统计量为,12,数据,ksdata.sav,的,K-S,检验,我们检验它是否是正态分布、均匀分布和指数分布。输出结果分别显示在下面三个表中：,13,14,15,SPSS软件使用说明,使用我们的,ksdata.sav,数据。,选项为,Analyze,Nonparametric Tests,1 Sample K-S,。,然后把变量（这里是,x,）选入,Variable List,。再在下面,Test Distribution,选中零假设的分布（,Normal,、,Poisson,、,Uniform,和,Exponential,）作为零假设。,在点,Exact,时打开的对话框中可以选择精确方法（,Exact,），,Monte Carlo,抽样方法（,Monte Carlo,）或用于大样本的渐近方法（,Asymptotic only,）。最后,OK,即可。,16,关于随机性的游程检验（,run test,）,游程检验方法是检验一个取两个值的变量的这两个值的出现是否是随机的。假定下面是由0和1组成的一个这种变量的样本（数据run1.sav）：,0 0 0 0 1 1 1 1 1 1 0 0 1 0 1 1 1 0 0 0 0 0 0 0 0,其中相同的,0,（或相同的,1,）在一起称为一个游程（单独的,0,或,1,也算）。,这个数据中有,4,个,0,组成的游程和,3,个,1,组成的游程。一共是,R,=7,个游程。其中,0,的个数为,m,=15,，而,1,的个数为,n,=10,。,17,关于随机性的游程检验（,run test,）,出现0和1的的这样一个过程可以看成是参数为某未知,p,的Bernoulli试验。但在给定了,m,和,n,之后，在0和1的出现是随机的零假设之下，,R,的条件分布就和这个参数无关了。根据初等概率论，,R,的分布可以写成（令,N=m+n,）,18,关于随机性的游程检验（,run test,）,于是就可以算出在零假设下有关,R,的概率，以及进行有关的检验了。利用上面公式可进行精确检验；也可以利用大样本的渐近分布和利用,Monte Carlo,方法进行检验。利用上面数据的结果是,19,关于随机性的游程检验（,run test,）,当然，游程检验并不仅仅用于只取两个值的变量，它还可以用于某个连续变量的取值小于某个值及大于该值的个数（类似于,0,和,1,的个数）是否随机的问题。看下面例子。,例 (run2.sav): 从某装瓶机出来的30盒化妆品的重量如下（单位克）,71.6 71.0 71.8 70.3 70.5 72.9 71.0 71.0 70.1 71.8 71.9 70.3 70.9 69.3 71.2 67.3 67.6 67.7 67.6 68.1 68.0 67.5 69.8 67.5 69.7 70.0 69.1 70.4 71.0 69.9,为了看该装瓶机是否工作正常，首先需要验证是否大于和小于中位数的个数是否是随机的（零假设为这种个数的出现是随机的）。,20,关于随机性的游程检验（,run test,）,如果把小于中位数的记为,0,，否则记为,1,，上面数据变成下面的,0,1,序列,1 1 1 1 1 1 1 1 0 1 1 1 1 0 1 0 0 0 0 0 0 0 0 0 0 0 0 1 1 0,这就归为上面的问题。当然这里进行这种变换只是为了易于理解。实际计算时，用不着这种变换，计算机会自动处理这个问题的。,直接利用这个数据，通过SPSS，得到下面游程检验结果的输出。,21,22,SPSS软件使用说明,用run2.sav数据。,选项为,AnalyzeNonparametric TestsRuns,。,然后把变量（这里是length）选入,Variable List,。再在下面,Cut Point,选中位数（Median）。当然，也可以选其他值，如均值（Mean），众数（Mode）或任何你愿意的数目（放在Custom）。注意在对前面的由0和1组成的序列（run1.sav进行随机性检验时，,要选均值,(为什么？）。,在点,Exact,时打开的对话框中可以选择精确方法（Exact），Monte Carlo抽样方法（Monte Carlo）或用于大样本的渐近方法（Asymptotic only）。最后OK即可。,23,Wilcoxon (Mann-Whitney)秩和检验,这里介绍常用的Wilcoxon (或称Mann-Whitney)秩和检验。它的原理很简单，,假定第一个样本有,m,个观测值，第二个有,n,个观测值。把两个样本混合之后把这,m,+,n,个观测值升幂排序，,记下每个观测值在混合排序下面的秩。之后分别把两个样本所得到的秩相加。记第一个样本观测值的秩的和为,W,X,而第二个样本秩的和为,W,Y,。这两个值可以互相推算，称为Wilcoxon统计量。,该统计量的分布和两个总体分布无关。由此分布可以得到,p,-值。,直观上看，如果,W,X,与,W,Y,之中有一个显著地大，则可以选择拒绝零假设。,该检验需要的唯一假定就是两个总体的分布有类似的形状（不一定对称）。,24,Wilcoxon (Mann-Whitney)秩和检验,下面数据（GDP.sav）是地区1的十个城市和地区2的15个城市的人均GDP（元）。现在要想以此作为两个样本来检验两个地区的人均GDP的中位数m,1,和m,2,是否一样，即双尾检验H,0,: m,1,=m,2,对H,a,: m,1,m,2,。由于地区2的人均GDP的中位数大于地区1的中位数，因此也可以做单尾检验H,0,: m,1,=m,2,对H,a,: m,1,m,2,。,地区1：3223452638362781598232164710562823034618,地区2：539139834076594147484600632545345526569970085403667855375257,由,SPSS,的输出可以得到下面结果：,25,26,Wilcoxon (Mann-Whitney)秩和检验,该结果头两行,显示了Mann-Whitney和Wilcoxon统计量的值。另外和我们需要结果的相关部分为：对于双尾检验H,0,: m,1,=m,2,对H,a,: m,1,m,2,，,p,-值为0.016（见“,Exact Sig. (2-tailed)”）,；而对于单尾检验H,0,: m,1,=m,2,对H,a,: m,1,m,2,（见“,Exact Sig. (1-tailed)”）,，,p,-值为0.008。这两个结果是精确计算的。通常在样本量大的时候利用近似方法得到渐近分布的,p,-值（见“,Asymp. Sig. (2-tailed)”），它只给了双尾检验的近似,p,-值0.017，和精确值差别不大。注意单尾检验的,p,-值是双尾检验的,p,-值的一半。这个例子的结果表明，可以拒绝原假设，即有理由认为地区2的人均GDP的中位数要高一些。,27,SPSS,软件使用说明,使用GDP.sav数据。,选项为,AnalyzeNonparametric Tests2 Independent Samples,。,把变量（gdp）选入,Test Variable,List,；再把用1和2分类的变量area输入进Grouping Variable，在,Define Groups,输入1和2。,在,Test Type,选中MannWhitney。,在点,Exact,时打开的对话框中可以选择精确方法（Exact），Monte Carlo抽样方法（Monte Carlo）或用于大样本的渐近方法（Asymptotic only）。最后OK即可,28,两样本分布的,Kolmogorov-Smirnov,检验,假定有分别来自两个独立总体的两个样本。要想检验它们背后的总体分布相同的零假设，可以进行两独立样本的,Kolmogorov-Smirnov,检验。原理完全和单样本情况一样。只不过把检验统计量中零假设的分布换成另一个样本的经验分布即可。假定两个样本的样本量分别为,n,1,和,n,2,，用,S,1,(X),和,S,2,(X),分别表示两个样本的累积经验分布函数。再记,D,j,S,1,(X,j,)-S,2,(X,j,),。近似正态分布的检验统计量为,29,计算结果,twonp.sav：,两种破坏性试验的持续时间。根据这个数据，,n,1,=30,，,n,2,=25,。由,SPSS,输出，得到,30,SPSS,软件使用说明,使用twonp.sav数据。,选项为,AnalyzeNonparametric Tests2 Independent Samples,。,把变量（duration）选入,Test Variable List,；再把用1和2分类的变量type输入到,Grouping Variable,，在Define Groups输入1和2。,在,Test Type,选中Kolmogorov-Smirnov Z。,在点,Exact,时打开的对话框中可以选择精确方法（Exact），Monte Carlo抽样方法（Monte Carlo）或用于大样本的渐近方法（Asymptotic only）。最后,OK,即可,31,两样本,Wald-Wolfowitz,游程检验,Wald-Wolfowitz,游程检验（,Wald-Wolfowitz runs test,）和,Kolmogorov-Smirnov,检验都是看两个样本所代表的总体是否分布类似。但是所采取的方法不一样。,Wald-Wolfowitz,游程检验把两个样本混合之后，按照大小次序排列，一个样本的观测值在一起的为一个游程。和单样本的游程问题类似。可以由游程个数,R,看出两个样本在排序中是否随机出现。由,twonp.sav,数据，可以得到下面,SPSS,关于,Wald-Wolfowitz,游程检验的输出：,32,软件使用：数据和前面一样，只,在,Test Type,选,Wald-Wolfowitz runs,。,33,Kruskal-Wallis,关于多个样本的秩和检验,这个检验的目的是看多个总体的位置参数是否一样。,方法和,Wilcoxon-Mann-Whitney,检验的思想类似。,假定有,k,个总体。先把从这个,k,个总体来的样本混合起来排序，记各个总体观测值的秩之和为,R,i,，,i,=1,k,。显然如果这些,R,i,很不相同，就可以认为它们位置参数相同的零假设不妥（备选假设为各个位置参数不全相等）。,34,Kruskal-Wallis,关于多个样本的秩和检验,注意这里所说的位置参数是在下面意义上的,q,i,；由于它在分布函数,F,i,(x),中可以和变元,x,相加成为,F,(x+,q,i,),的样子，所以称,q,i,为位置参数。,形式上，假定这些样本有连续分布,F,1,F,k,，,零假设为,H,0,：,F,1,=,F,k,，,备选假设为,H,a,：,F,i,(x)=,F,(x+,q,i,),，,i,=1,k,，这里,F,为某连续分布函数，而且这些参数,q,i,并不相等。,Kruskal-Wallis,检验统计量为,（,R,上面一杠表示平均）,35,Kruskal-Wallis,关于多个样本的秩和检验,公式中,n,i,为第,i,个样本量，而,N,为各个样本量之和（总样本量）。,如果观测值中有大小一样的数值，这个公式会有稍微的变化。,这个统计量在位置参数相同的零假设下有渐近的自由度为,k-1,的,c,2,分布。,Kruskal-Wallis,检验仅仅要求各个总体变量有相似形状的连续分布。,36,数据,house.sav,：三个区域房价的数据,为了调查三个地区的房价是否类似，在每个地区抽样，得到三个样本量分别为,20,、,30,、,25,的房价样本。利用,SPSS,软件，很容易得到下面的检验结果：,37,SPSS软件使用说明,使用house.sav数据。,选项为,AnalyzeNonparametric TestsK Independent Samples,。,把变量（这里是price）选入,Test Variable,List,；再把数据中用1、2、3来分类的变量group输入Grouping Variable，在Define Groups输入1、2、3。,在下面,Test Type,选中,Kruskal-Wallis H。,点,Exact,时打开的对话框中可以选择精确方法（Exact），Monte Carlo抽样方法（Monte Carlo）或用于大样本的渐近方法（Asymptotic only）。最后OK即可,38,Jonckheere-Terpstra,多样本的秩检验,这个检验处理的问题和Kruskal-Wallis检验类似，零假设都是各个总体的位置参数相同，但这里的备选假设为各个总体的位置参数按升幂排列（如为降幂排列，可把总体编号颠倒顺序即为升幂排列）。,注意这里所说的位置参数和前面的Kruskal-Wallis检验中的位置参数意义一样。,Jonckheere-Terpstra检验先在每两个样本所有观测值对之间比较，计算第,i,个样本观测值中小于第,j,个样本观测值的对子数：,39,数据,house.sav,：三个区域房价的数据,很容易得到,SPSS,的,Jonckheere -Terpstra,检验结果输出：,40,SPSS软件使用说明,使用,house.sav,数据。,选项为,Analyze,Nonparametric Tests,K Independent Samples,。,把变量（这里是,price,）选入,Test Variable List,；再把数据中用,1,、,2,、,3,来分类的变量,group,输入,Grouping Variable,，在,Define Groups,输入,1,、,2,、,3,。,在下面,Test Type,选中,Jonckheere-Terpstra,。,在点,Exact,时打开的对话框中可以选择精确,方法（,Exact,），,Monte Carlo,抽样方法（,Monte Carlo,）或用于大样本的渐近方法（,Asymptotic only,）。最后,OK,即可,41,Brown-Mood,中位数检验,在有数个独立样本的情况，希望知道它们的中位数是否相等。,零假设是,这些样本所代表的总体的中位数相等。,备选假设,是这些中位数不全相等。,假定有,k,个总体，,n,i,为第,i,个样本量；把所有样本量之和记为,N,。先把从这个,k,个总体来的样本混合起来排序，找出它们的中位数。再计算每个总体中小于该中位数的观测值个数,O,1i,，,i,=1,k,，和每个总体中大于该中位数的观测值个数,O,2i,，,i,=1,k,。这样就形成了一个由元素,O,ij,组成的2,k,表。其列总和为,n,i,，,i,=1,k,；而两个行总和为各样本小于总中位数的观测值总和：,R,1,O,11,+,O,12,+,O,1k,及各样本大于总中位数的观测值总和,R,2,O,21,+,O,22,+,O,2k,。这显然是一个列联表，可以用Pearson,c,2,统计量，即,42,house.sav,数据,这里,43,44,SPSS软件使用说明,使用,house.sav,数据。,选项为,Analyze,Nonparametric Tests,K Independent Samples,。,把变量（这里是,price,）选入,Test Variable List,；再把数据中用,1,、,2,、,3,来分类的变量,group,输入,Grouping Variable,，在,Define Groups,输入,1,、,2,、,3,。,在下面,Test Type,选中,Median,。,在点,Exact,时打开的对话框中可以选择精确,方法（,Exact,），,Monte Carlo,抽样方法（,Monte Carlo,）或用于大样本的渐近方法（,Asymptotic only,）。最后,OK,即可,45,Friedman,秩和检验,前面讨论了两因子试验设计数据的方差分析，那里所用的,F,检验需要假定总体的分布为正态分布。,有一种非参数方差分析方法，称为,Friedman,（两因子）秩和检验，或,Friedman,方差分析。它适用于两个因子的各种水平的组合都有一个观测值的情况。,46,Friedman,秩和检验,假定第一个因子有,k,个水平（称为处理，,treatment,），第二个因子有,b,个水平（称为区组）；因此一共有,k,b,kb,个观测值。,这里之所以称一个因子为处理，是因为这是我们想要看该因子各水平是否对试验结果有显著的不同（它的各个水平的观测值也就是本小节的多个相关样本）。而另一个因子称为区组，不同的区组也可能对结果有影响。下面是一个例子。,47,数据,fert.sav,这里有三种肥料作为第一个因子（肥料因子）的三个水平；而四种土壤为第二个因子（土壤因子）的四个水平。感兴趣于是否这三种肥料对于某作物的产量有区别。称肥料因子为处理，而土壤因子为区组。数据在下表中（表中数字为相应组合的产量，单位公斤）。,肥料种类,肥料A,肥料B,肥料C,土壤类型,土壤1,22,46,68,土壤2,25,36,48,土壤3,18,21,20,土壤4,11,13,19,48,Friedman,秩和检验,Friedman,秩和检验是关于位置的，和,Kruskal-Wallis,检验类似，形式上，假定这些样本有连续分布,F,1,F,k,，零假设为,H,0,：,F,1,=,F,k,，备选假设为,H,a,：,F,i,(x)=,F,(x+,q,i,),，,i,=1,k,，这里,F,为某连续分布函数，而且这些参数,q,i,并不相等。,虽然这和以前的,Kruskal-Wallis,检验一样，但是由于区组的影响,要首先在每一个区组中计算各个处理的秩；再把每一个处理在各区组中的秩相加,.,如果,R,ij,表示在,j,个区组中第,i,个处理的秩。则秩按照处理而求得的和为,49,Friedman,秩和检验,这样做的目的是在每个区组内比较处理。例如, 同个年龄段中比较药品的疗效比不分年龄来比较疗效要合理；在同一个部位比较不同的材料要比混合起来比较要合理等等。这里要引进的Friedman统计量定义为,第一个式子表明，如果各个处理很不一样，和的平方就会很大，结果就显著。第二个公式是为了计算方便而导出的。它有近似的（有,k,-1,个自由度的）,c,2,分布。,50,fert.sav,数据,51,SPSS软件使用说明,使用fert.sav数据。,选项为,AnalyzeNonparametric TestsK Related Samples。,然后把变量（这里是a、b、c）选入,Test Variable List,。,在下面,Test Type,选中,Friedman,。,在点,Exact,时打开的对话框中可以选择精确方法（Exact），Monte Carlo抽样方法（Monte Carlo）或用于大样本的渐近方法（Asymptotic only）。最后OK即可,52,Kendall,协同系数检验,在实践中，常需要按照某些特别的性质来多次对一些个体进行评估或排序；比如几个（,m,个）评估机构对一些（,n,个）学校进行排序。人们想要知道，这些机构的不同结果是否一致。如果很不一致，则该评估多少有些随机，意义不大。,换句话说，这里想要检验的,零假设,是：这些对于不同学校的排序是不相关的或者是随机的；而,备选假设,为：这些对不同学校的排序是正相关的或者是多少一致的。,53,Kendall,协同系数检验,一个机构对诸个体（学校）的秩（次序）的和为,1+2+,n,=,n,(,n,+1)/2,；所有,m,个机构对所有个体评估的总秩为,mn,(,n,+1)/2,；这样对每个个体的平均秩为,m,(,n,+1)/2,。如果记每一个个体的,m,个秩（次序）的和为,R,i,（,i=1,n,），那么，如果评估是随机的，这些,R,i,与平均秩的差别不会很大，反之差别会很大，也就是说下面的,个体的总秩与平均秩的偏差的平方和S很大。S定义为,54,Kendall,协同系数检验,这个和,Kendall,协同系数（,Kendalls Coefficient of Concordance,）是成比例的，,Kendall,协同系数,W,（,Kendalls W,）定义为,55,数据,school.sav,下面是,4,个独立的环境研究单位对,15,个学校排序的结果每一行为一个评估机构对这些学校的排序。看上去不那么一致（也有完全一致的）：,56,数据,school.sav,SPSS的Kendall协同系数检验的输出,57,SPSS软件使用说明,使用,school.sav,数据。,选项为,AnalyzeNonparametric TestsK Related Samples。,然后把变量（这里是,s1、s2、s15,）选入,Test Variable List,。,在下面,Test Type,选中,Kendalls W,。,在点,Exact,时打开的对话框中可以选择精确方法（Exact），Monte Carlo抽样方法（Monte Carlo）或用于大样本的渐近方法（Asymptotic only）。最后OK即可,58,关于二元响应的Cochran检验,前面讨论了两因子方差分析问题的Friedman秩和检验。,但是当观测值只取诸如0或1两个可能值时，由于有太多同样的数目（只有0和1），排序的意义就很成问题了。,这里要引进的Cochran检验就是用来解决这个问题的一个非参数检验。这里的零假设也是各个处理是相同的。先看一个例子,关于瓶装饮用水的调查（数据在water.sav）。20名顾客对4种瓶装饮用水进行了认可（记为1）和不认可（记为0）的表态。,我们感兴趣的是这几种瓶装水在顾客眼中是否有区别。这里的零假设是这些瓶装水（作为处理）在（作为区组的）顾客眼中没有区别。,59,数据,water.sav,下表是数据，每一行为20个顾客对某一饮料的20个观点（0或1）。最后一列1为认可总数,N,i,而最后一行为每个顾客给出的4个观点中认可数的总和,L,i,。最后一行的最后的元素为总认可数,N,。,显然，如果,N,i,和这些,N,i,的均值的差距很大，那么这些处理就很不一样了。Cochran检验就是基于这个思想的。用,N,i,表示第,i,个处理所得到的“1”的个数，而,L,j,为第,j,个区组（例子中的顾客）所给的“1”的个数，“1”的总数记为,N,。,60,关于二元响应的Cochran检验,Cochran检验统计量（Cochrans Q）为（假定有,k,个处理和,b,个区组）,当,k,固定时，Q在,b,很大时有近似的自由度为,k,-1的,c,2,分布。,61,数据,water.sav,Cochran检验的SPSS输出：,62,SPSS软件使用说明,使用,water.sav,数据。,选项为,AnalyzeNonparametric TestsK Related Samples。,然后把变量（这里是,c1、c2、c3、c4,）选入,Test Variable List,。,在下面,Test Type,选中,Cochrans Q。,在点,Exact,时打开的对话框中可以选择精确方法（Exact），Monte Carlo抽样方法（Monte Carlo）或用于大样本的渐近方法（Asymptotic only）。最后OK即可,63,