回归诊断专业知识讲座培训ppt课件

回回归诊断断专业知知识讲座座回归诊断专业知识讲座1回归诊断专业知识讲座2回归诊断专业知识讲座2在实际中这些假定是否合理？如果实际数据与这些假设偏离在实际中这些假定是否合理？如果实际数据与这些假设偏离比较大，那么前面讨论的有关参数的区间估计，假设检验就比较大，那么前面讨论的有关参数的区间估计，假设检验就不再成立。如果经过分析，已经确认对所研究的具体数据，不再成立。如果经过分析，已经确认对所研究的具体数据，上面的假设不成立，那么我们又希望探讨对数据作怎样的修上面的假设不成立，那么我们又希望探讨对数据作怎样的修正后，能使它们满足或近似满足这些假设。这些就是回归诊正后，能使它们满足或近似满足这些假设。这些就是回归诊断中所要解决的第一个问题。断中所要解决的第一个问题。回归诊断的另一个研究的问题是对数据的诊断，探查对统计回归诊断的另一个研究的问题是对数据的诊断，探查对统计推断有较大影响的试验点，这样的点称为强影响点。推断有较大影响的试验点，这样的点称为强影响点。回归诊断专业知识讲座3在实际中这些假定是否合理？如果实际数据与这些假设偏离比较大，3.1 残差及残差图残差及残差图回归诊断专业知识讲座43.1 残差及残差图回归诊断专业知识讲座4回归诊断专业知识讲座5回归诊断专业知识讲座5回归诊断专业知识讲座6回归诊断专业知识讲座6回归诊断专业知识讲座7回归诊断专业知识讲座7回归诊断专业知识讲座8回归诊断专业知识讲座8回归诊断专业知识讲座9回归诊断专业知识讲座9回归诊断专业知识讲座10回归诊断专业知识讲座10回归诊断专业知识讲座11回归诊断专业知识讲座11统计诊断的内容和意义统计诊断的内容和意义 我们所选择的模型能不能大体上反映所要我们所选择的模型能不能大体上反映所要研究的实际问题？研究的实际问题？我们收集的数据会不会由于收集过程中的我们收集的数据会不会由于收集过程中的疏忽或其它种种原因而出现较大的误差？疏忽或其它种种原因而出现较大的误差？这些错误数据会不会严重干扰我们对实际这些错误数据会不会严重干扰我们对实际问题所作的结论？问题所作的结论？回归诊断专业知识讲座12统计诊断的内容和意义 我们所选择的模型能不能大体上反映所要研 统计诊断是针对上述问题发展起来的一种统计诊断是针对上述问题发展起来的一种分析方法。寻找一种诊断方法，判断实际数分析方法。寻找一种诊断方法，判断实际数据与既定模型是否有较大偏离，并采取相应据与既定模型是否有较大偏离，并采取相应的对策是统计诊断的主要内容。的对策是统计诊断的主要内容。回归诊断专业知识讲座13 统计诊断是针对上述问题发展起来的一种分析方识别、判定和检验异常点。识别、判定和检验异常点。区分出对统计推断影响特别大的点（影响分析）。区分出对统计推断影响特别大的点（影响分析）。残差分析和残差图能用于研究既定模型与实际数据是否能残差分析和残差图能用于研究既定模型与实际数据是否能很好拟合。其中包括：模型线性诊断、模型误差方差齐性很好拟合。其中包括：模型线性诊断、模型误差方差齐性诊断、模型误差独立性诊断、模型误差正态性诊断等。诊断、模型误差独立性诊断、模型误差正态性诊断等。综合以上所述回归诊断有如下主要综合以上所述回归诊断有如下主要内容：内容：回归诊断专业知识讲座14识别、判定和检验异常点。综合以上所述回归诊断有如下主要内容：3.2 回归诊断一（数据的诊断）回归诊断专业知识讲座153.2 回归诊断一（数据的诊断）回归诊断专业知识讲座15(一一)、统计诊断的两个基本概念、统计诊断的两个基本概念（1）异常点异常点 在回归模型中，异常点是指对既定模型在回归模型中，异常点是指对既定模型偏离很大的数据点。但究竟偏离达到何种偏离很大的数据点。但究竟偏离达到何种程度才算是异常，这就必须对模型误差项程度才算是异常，这就必须对模型误差项的分布有一定的假设（通常假定为正态分的分布有一定的假设（通常假定为正态分布）。布）。回归诊断专业知识讲座16(一)、统计诊断的两个基本概念（1）异常点回归诊断专业知识讲目前对异常点有以下两种较为流行的看法：把异常点看成是那些与数据集的主体明显把异常点看成是那些与数据集的主体明显不协调，使得研究者大感惊讶的数据点。不协调，使得研究者大感惊讶的数据点。这时，异常点可解释为所假定的分布中的这时，异常点可解释为所假定的分布中的极端点，即落在分布的单侧或双侧分位点极端点，即落在分布的单侧或双侧分位点以外的点，而通常取很小的值（如：以外的点，而通常取很小的值（如：0.005），致使观察者对数据中出现如此极端的），致使观察者对数据中出现如此极端的点感到意外。点感到意外。回归诊断专业知识讲座17目前对异常点有以下两种较为流行的看法：把异常点看成是那些与数（2）强影响点）强影响点 数据集中的强影响点是指那些对统计量的取值有非常数据集中的强影响点是指那些对统计量的取值有非常大的影响力的点。在考虑强影响点时，有几个基本问题需大的影响力的点。在考虑强影响点时，有几个基本问题需要考虑：要考虑：首先必须明确首先必须明确“是对哪个统计量的影响？是对哪个统计量的影响？”例如，线性回例如，线性回归模型所考虑的是对回归系数的估计量的影响；不是对误归模型所考虑的是对回归系数的估计量的影响；不是对误差方差的估计影响；或是对拟合优度统计量的影响等等。差方差的估计影响；或是对拟合优度统计量的影响等等。分析目标不同，所考虑的影响亦有所不同。分析目标不同，所考虑的影响亦有所不同。回归诊断专业知识讲座18（2）强影响点回归诊断专业知识讲座18其次，必须确定其次，必须确定“度量影响的尺度是什么？度量影响的尺度是什么？”为了定量为了定量地刻划影响的大小，迄今为止已提出多种尺度，基于置地刻划影响的大小，迄今为止已提出多种尺度，基于置信域的尺度，基于似然函数的尺度等等。在每一种类型信域的尺度，基于似然函数的尺度等等。在每一种类型中又可能有不同的统计量，例如基于影响函数就已提出中又可能有不同的统计量，例如基于影响函数就已提出多种多种“距离距离”来度量影响，有来度量影响，有Cook距离、距离、Welsch-Kuh距离、距离、Welsch距离等等。每一种度量都是着眼于某距离等等。每一种度量都是着眼于某一方面的影响，并在某种具体场合下较为有效。这一方一方面的影响，并在某种具体场合下较为有效。这一方面反映了度量影响问题的复杂性，另一方面也说明了影面反映了度量影响问题的复杂性，另一方面也说明了影响分析的研究在统计诊断中是一个甚为活跃的方向，还响分析的研究在统计诊断中是一个甚为活跃的方向，还有大量有待解决的问题。有大量有待解决的问题。回归诊断专业知识讲座19其次，必须确定“度量影响的尺度是什么？”为了定量地刻划影响的强影响点通常是数据集中更为重要的数据点，它往往能强影响点通常是数据集中更为重要的数据点，它往往能提供比一般数据点更多的信息，因此需引起特别注意。提供比一般数据点更多的信息，因此需引起特别注意。强影响点和异常点是两个不同的概念，它们之间既有联强影响点和异常点是两个不同的概念，它们之间既有联系也有区别。强影响点可能同时又是异常点也可能不是；系也有区别。强影响点可能同时又是异常点也可能不是；反之，异常点可能同时又是强影响点也可能不是。反之，异常点可能同时又是强影响点也可能不是。回归诊断专业知识讲座20强影响点通常是数据集中更为重要的数据点，它往往能提供比一般数(二二)、影响分析、影响分析回归诊断专业知识讲座21(二)、影响分析回归诊断专业知识讲座21回归诊断专业知识讲座22回归诊断专业知识讲座22回归诊断专业知识讲座23回归诊断专业知识讲座23回归诊断专业知识讲座24回归诊断专业知识讲座24回归诊断专业知识讲座25回归诊断专业知识讲座25回归诊断专业知识讲座26回归诊断专业知识讲座26回归诊断专业知识讲座27回归诊断专业知识讲座273.3 回归诊断二（模型的诊断）回归诊断二（模型的诊断）回归诊断专业知识讲座283.3 回归诊断二（模型的诊断）回归诊断专业知识讲座28回归诊断专业知识讲座29回归诊断专业知识讲座29回归诊断专业知识讲座30回归诊断专业知识讲座30回归诊断专业知识讲座31回归诊断专业知识讲座31回归诊断专业知识讲座32回归诊断专业知识讲座32回归诊断专业知识讲座33回归诊断专业知识讲座33（2）模型修正 为了修改模型，我们再作以 为横坐标的残差图回归诊断专业知识讲座34（2）模型修正 为了修改模型，我们再作以 为横坐回归诊断专业知识讲座35回归诊断专业知识讲座35模型修改后的预测值及残差回归诊断专业知识讲座36模型修改后的预测值及残差回归诊断专业知识讲座36模型修改后的残差图回归诊断专业知识讲座37模型修改后的残差图回归诊断专业知识讲座37误差方差齐性诊断误差方差齐性诊断回归诊断专业知识讲座38误差方差齐性诊断回归诊断专业知识讲座38回归诊断专业知识讲座39回归诊断专业知识讲座39回归诊断专业知识讲座40回归诊断专业知识讲座40回归诊断专业知识讲座41回归诊断专业知识讲座41回归诊断专业知识讲座42回归诊断专业知识讲座42回归诊断专业知识讲座43回归诊断专业知识讲座43回归诊断专业知识讲座44回归诊断专业知识讲座44回归诊断专业知识讲座45回归诊断专业知识讲座45回归诊断专业知识讲座46回归诊断专业知识讲座46回归诊断专业知识讲座47回归诊断专业知识讲座47回归诊断专业知识讲座48回归诊断专业知识讲座48回归诊断专业知识讲座49回归诊断专业知识讲座49三、误差的独立性诊断三、误差的独立性诊断在不少有关时间问题中，观测值往往呈相关的趋势。如河流的水位总有一个变化过程，当一场暴雨使河流水位上涨后往往需要几天才能使水位降低，因而当我们逐日测定河流最高水位时，相邻两天的观测间就不一定独立。回归诊断专业知识讲座50三、误差的独立性诊断在不少有关时间问题中，观测值往往呈相关的回归诊断专业知识讲座51回归诊断专业知识讲座51回归诊断专业知识讲座52回归诊断专业知识讲座52回归诊断专业知识讲座53回归诊断专业知识讲座53回归诊断专业知识讲座54回归诊断专业知识讲座54回归诊断专业知识讲座55回归诊断专业知识讲座55回归诊断专业知识讲座56回归诊断专业知识讲座56回归诊断专业知识讲座57回归诊断专业知识讲座57回归诊断专业知识讲座58回归诊断专业知识讲座58回归诊断专业知识讲座59回归诊断专业知识讲座59回归诊断专业知识讲座60回归诊断专业知识讲座60回归诊断专业知识讲座61回归诊断专业知识讲座61四、误差的正态性诊断四、误差的正态性诊断回归诊断专业知识讲座62四、误差的正态性诊断回归诊断专业知识讲座62回归诊断专业知识讲座培训ppt课件63回归诊断专业知识讲座64回归诊断专业知识讲座64回归诊断专业知识讲座65回归诊断专业知识讲座65回归诊断专业知识讲座66回归诊断专业知识讲座66回归诊断专业知识讲座67回归诊断专业知识讲座67回归诊断专业知识讲座68回归诊断专业知识讲座68回归诊断专业知识讲座69回归诊断专业知识讲座69回归诊断专业知识讲座70回归诊断专业知识讲座70回归诊断在SAS上的实现用语句plot r.*p.(r是residual的缩写，p是predicted的缩写)可以作残差r相对于拟合值p之间的散点图。如果此散点图在0水平线上下均匀散布，且对p没有趋向性，则可认为 满足方差齐性假设、且认为回归函数线性假设合理。回归诊断专业知识讲座71回归诊断在SAS上的实现用语句plot r.*p.(r是model y=x/dw r;选项里加上dw表示计算DW检验的值。r表示计算学生化残差，并计算Cook距离，若Cook距离相对较大,则课认为是强影响点。若学生化残差的绝对值大于2，则可认为是异常点。从学生化残差也可判断误差的正态性假设是否满足。回归诊断专业知识讲座72model y=x/dw r;回归诊断专业知识讲座72例子.给10只大白鼠注射内霉素(30mg/kg)后，测得每只大鼠红细胞x与血红蛋白含量Y数据(见下页SAS文件)，试对X和Y进行回归分析。回归诊断专业知识讲座73例子.回归诊断专业知识讲座73data mouse;input x y;cards;654 130786 168667 143605 130 761 158642 129 652 151706 153602 151539 109;proc reg;model y=x;run;proc reg;model y=x/noint dw r cli clm;plot r.*p.;run;回归诊断专业知识讲座74data mouse;回归诊断专业知识讲座74残差图回归诊断专业知识讲座75残差图回归诊断专业知识讲座75误差的独立性诊断回归诊断专业知识讲座76误差的独立性诊断回归诊断专业知识讲座76第九个为异常点、强影响点 Output Statistics Std Error Student Cooks Obs Residual Residual -2-1 0 1 2 D 1 9.279 -1.129|*|0.136 2 9.056 -0.0913|0.001 3 9.259 -0.0288|0.000 4 9.350 0.00543|0.000 5 9.101 -0.600|*|0.054 6 9.297 -0.957|*|0.094 7 9.282 1.180|*|0.148 8 9.196 0.148|0.003 9 9.354 2.319|*|0.480 10 9.437 -0.718|*|0.036 Sum of Residuals 1.36513 Sum of Squared Residuals 857.80435 Predicted Residual SS(PRESS)1031.32594回归诊断专业知识讲座77第九个为异常点、强影响点 Output Statistics