资源描述
实用生物统计分析(六),离群值、数学变换及其他,安徽大学生命科学学院,数据集合中与其他数据有明显偏离的取值 数值上异常偏大或偏小,或根本不可能存在 来源: - 读数、录入的错误 - 真实存在的极端现象 离群值对统计分析的影响 造成参数估计的偏离 (means, SD) 造成对统计分布的错判 影响对统计方法的选择和结果解释(方差齐性),离群值 (outliers),依据常识和科学原理判断谬误 直接剔除 观察个体值偏离均值程度进行推断 箱式图观察 Z值观察 统计检验方法 Grubbs test Dixons Q test Hubers method,离群值的认定,箱式图推断离群值,分别以四分位数(Q3, Q1)为箱型方框的上、下边,以不超出区间Q1-1.5*IQR,Q3+1.5*IQR的最大、最小观测值为线的上、下端,超出该区域的数据视为离群值。 其中:IQR(interquartile range)= Q3-Q1 SPSS中:Graphs Interactive boxplot 注:SPSS还定义了所谓极端值,即超出区间Q1-3*IQR,Q3+3*IQR范围的数值。,箱式图推断离群值,数据集:2,57,60,60,65,68,70,71,72,74,74,76,77,98,150,220,箱式图推断离群值,离群值,离群(极端)值,离群(极端)值,离群(极端)值,Z值推断离群值,以Z值区间(-3.0, +3.0)为标准,超过者为可能的离群值。这相当于以平均值为中心的99.9%置信区间。 SPSS中:Analyze Descriptive statistics Descriptives,Z值推断离群值,勾选,将标准化变量Z值视为变量存入数据列表中,Z值推断离群值,可以看到,哪怕是220其Z值也只为2.969,未过此标准(3)。与箱式图相比,Z值法更为保守。原因与算术平均值的特点有关。,Grubbs test推断离群值,在线检验:,220的Z值=2.972.59 ,为离群值(alpha=0.05)。,离群值的判定,Z值法最保守, 原因是Z值本身就受极端值影响较大; 上述方法都不是硬性规定,只为参考; 对于离群值的判定要慎重,宁可保守,不可贸然删除,对较小数据集(比如100)尤其如此; 不能为追求显著性结论而人为主观地删除某些个离群值,这有违科学道德。,数学变换,参数性统计分析方法通常对数据的正态性、方差齐性、变量间的线性等有着明确或潜在的要求。若违背了这些前提,可能降低方法的可靠性,甚至导致其完全失效。 当数据不满足这些条件,可以尝试通过数学变换加以改善,以达到顺利使用这些统计方法的目的。,数学变换,数学变换的使用存在争议,实践中也会给结果的解释带来困难。 多数参数性方法是相当稳健的,即:对正态性、方差齐性的稍许偏离并不妨碍正常使用,可能因此损失的检验效力对常规分析仍可接受,尤其在样本量较大(n30)的情况下。 除非特别必要,慎用数学变换。,数学变换,存在下述情况可尝试数学变换: 数据极度偏态分布:J型分布或严重左、右偏 组间均值与标准差之间存在中度至高度的相关性 必须使用多元统计方法,但正态性和线性不满足 样本含量少(n30)且正态性、齐性不满足,数学变换,常见类型 对数变换 平方根变换 反正弦变换 倒数变换 或上述变换的组合,适合极度偏态分布,组间呈数量级变化,适合中度偏态分布,有泊松分布特征,适合偏大或偏小的百分数资料,适合J型分布资料,数学变换举例,除草剂试验,响应变量为单位面积杂草数量,均值大,标准差也大,似乎存在相关关系,数学变换举例,均值与标准差相关系数达到0.825,散点图也看出相关趋势,数学变换举例,若直接对原始数据进行annova分析,未通过方差齐性检验,说明各组间方差差异不能忽略。,数学变换举例,对杂草数量作频数分析,可见其分布明显右偏(偏斜度curtosis=3.2490)。考虑到单位面积杂草数最有可能服从泊松分布(=2),最适合平方根变换,数学变换举例,对响应变量取平方根,Transform Compute variable,数学变换举例,对响应变量取平方根,TransformCompute variable,转换后的相关系数0.693,有所改善,数学变换举例,做过平方根变换后,再作频数分析,可见其分布有了较大改善,更接近正态(偏斜度curtosis=-0.044)。,数学变换举例,转换后的方差齐性达到要求,可以进行单因素方差分析,样本含量的确定,理论上讲,样本含量当然越多越好;但究竟达到什么水平就足够好,这也是试验设计中关心的问题之一。 在数学上要回答这个问题相当繁难,这里只对常见分析提出简略的计算方法: 1)两均值的比较 2)两百分数的比较 3)方差分析,样本含量的确定,4)获得一个有意义的相关系数r 5)多元回归:所有自变量(包括哑变量)个数10 6) 因子分析:样本指标比至少达到5:1,最好能接近10:1,
展开阅读全文