格拉布斯法—异常值判断

格拉布斯法一异常值判断（2009-04-07 16:38:20）标签：杂谈概述：一组测量数据中，如果个别数据偏离平均值很远，那么这个（这些）数据称作“可疑值”。如果用统计方法一例如格拉布斯（Grubbs）法判断，能将“可 疑值”从此组测量数据中剔除而 参与平均值的计算，那么该“可疑值”就称 作“异常值（粗大误差）”。本文就是介绍如何用格拉布斯法判断“可疑值”是 否为“异常值”。测量数据：例如测量10次（n= 10），获得以下数据：8.2、5.4、14.0、7.3、 4.7 、 9.0 、 6.5 、 10.1 、 7.7 、 6.0 。排列数据：将上述测量数据按从小到大的顺序排列，得到4.7、5.4、6.0、6.5、7.3、7.7、8.2、9.0、10.1、14.0。可以肯定，可疑值 不是最小值就是最大值。计算平均值X-和标准差s: x- = 7.89 ;标准差s = 2.704。计算时，必须将所有 10个数据全部包含在内。计算偏离值：平均值与最小值之差为7.89 4.7 = 3.19 ;最大值与平均值之差 为 14.0 7.89 = 6.11。确定一个可疑值：比较起来，最大值与平均值之差6.11大于平均值与最小值之差3.19，因此认为最大值14.0是可疑值。计算G值：G二（Xi x- ）/ s；其中i是可疑值的排列序号10 号；因此 Go= （ X10 x- ）/ s = （14.0 7.89）/2.704 = 2.260。由于 心一 x是残差，而s是标准差，因而可认为 Go是残差与标准差的比值。下面要把计 算值G与格拉布斯表给出的临界值 G（n）比较，如果计算的G值大于表中的临界 值G（n），则能判断该测量数据是 异常值，可以剔除。但是要提醒，临界值G（n） 与两个参数有关：检出水平a （与置信概率P有关）和测量次数n （与自由度f有关）。定检出水平a :如果要求严格，检出水平 a可以定得小一些，例如定 a = 0.01，那么置信概率p= 1 a = 0.99 ；如果要求不严格，a可以定得大一些， 例如定 a= 0.10，即卩 P= 0.90 ;通常定 a= 0.05，P= 0.95。查格拉布斯表获得临界值：根据选定的P值（此处为0.95）和测量次数n（此处为10），查格拉布斯表，横竖相交得临界值0）5（10） = 2.176。比较计算值 G 和临界值 G5（10） : G = 2.260，G5（10） = 2.176，G G5（10）。判断是否为异常值：因为G G5（10），可以判断测量值14.0为异常值，将它 从10个测量数据中剔除。余下数据考虑：剩余的9个数据再按以上步骤计算，如果计算的 G G5（9）, 仍然是异常值，剔除；如果G v G5（9） , 是异常值，则剔除。本例余下的9 个数据中没有异常值。格拉布斯表一一临界值Gn）nP0.950.99nP0.950.9931.1351.155172.4752.78541.4631.492182.5042.82151.6721.749192.5322.8546二 1.8221.944202.5572.88471.9382.097212.5802.91282.0322.231222.6032.93992.1102.323232.6242.963102.1762.410242.6442.987112.2342.485252.6633.009122.2852.550302.7453.103132.3312.607352.8113.178142.3712.659402.8663.24015:2.4092.705452.9143.292162.4432.747502.9563.336对异常值及统计检验法的解释测量过程是对一个无限大总体的抽样：对固定条件下的一种测量，理论上可 以无限次测量下去，可以得到无穷多的测量数据，这些测量数据构成一个容量 为无限大的总体；或者换一个角度看，本来就存在一个包含无穷多测量数据的 总体。实际的测量只 不过是从该无限大总体中随机抽取一个容量为n（例如n =10）的样本。这种样本也可以有无数个，每个样本相当于总体所含测量数据的不同随机组合。样本中的正常值应当来自该总体。通常的目的是用样本的统计量 来估计总体参量。总体一般假设为正态分布。异常值I区分：样本中的正常值应当属于同一总体；而 异常值I有两种情况：第 一种情况异常值不属于该总体，抽样抽错了，从另外一个总体抽出一个 （一些） 数据，其值与总体平均值相差较大；第二种情况 异常值虽属于该总体，但可能 是该总体固有随机变异性的极端表现，比如说超过 3 c的数据，出现的概率很 小。用统计判断方法就是将 异常值找出来，舍去。犯错误1:将本来属于该总体的、第一种情况的异常值判断出来舍去,会 犯错误；将本来属于该总体的、出现的概率小的、第二种情况的异常值I判断出来舍去，就会犯错误。犯错误2:还有一种情况，不属于该总体但数值又和该总体平均值接近的数据 被抽样抽出来，统计检验方法判断 出它是异常值|,就会犯另外一种错误。异常值检验法：判断异常值的统计检验法有很多种，例如格拉布斯法、狄克 逊法、偏度-峰度法、拉依达法、奈尔法等等。每种方法都有其适用范围和优缺 点。格拉布斯法最佳：每种统计检验法都会犯犯错误1和错误2。但是有人做过统 计，在所有方法中，格拉布斯法犯这两种错误的概率最小，所以推荐使用格拉 布斯法。多种方法结合使用：为了减少犯错误的概率，可以将3种以上统计检验法结合使用，根据多数方法的判断结果，确定可疑值是否为 异常值|。异常值|来源：测量仪器正常，测量环境偏离正常值较大，计算机出错，看 错，读错，抄错，算错，转移错误。