第五章残差与误差检验课件

5,残差与残差与误差检验 5.1 残差 5.2 粗差与数据探测 5.3 模型误差及其检验 5.4 稳健估计 5.5 基于相关分析的粗差检验 5,残差与误差检验 5.1 残 差1)普通残差及其性普通残差及其性质1,普通残差的定普通残差的定义观测方程:L=AX-回归模型:y=x-e 误差方程:2,平差因子平差因子(帽子矩阵帽子矩阵,投影矩阵投影矩阵)5.1 残 差1)普通残差及其性质2,平差因第五章残差与误差检验课件3,普通残差的性普通残差的性质3,普通残差的性质2)标准化残差准化残差2)标准化残差3)预测残差残差i 与学生化残差与学生化残差1,定定义:在观测值L 中去掉Li 后,有:2,i与与 vi的关系的关系3)预测残差i 与学生化残差1,定义:在 观测值3,标准化准化预测残差与学生化残差残差与学生化残差3,标准化预测残差与学生化残差4)不相关残差不相关残差1,普通残差的相关性普通残差的相关性2,标准化残差的相关性准化残差的相关性3,不相关残差不相关残差 n个残差中有个残差中有n-t个是独立的，不独立的个是独立的，不独立的t个个vi是与该是与该n-t个个vi线性相关的。线性相关的。W是由是由V转换成的等权独立的转换成的等权独立的n-t个不相关残差。个不相关残差。4)不相关残差1,普通残差的相关性 n个残差中有n-5.2 粗差与数据探粗差与数据探测1，粗差及其，粗差及其对残差的影响残差的影响（1）粗差的定粗差的定义异常误差，超限误差23 当L 含有粗差时，5.2 粗差与数据探测1，粗差及其对残差的影响（2）粗差）粗差对残差的影响残差的影响当当 L 含有含有观测误差差时，（2）粗差对残差的影响 （3）当）当仅有一个有一个观测值含粗差含粗差 k时可以看到可以看到,当rkk=0,vkk=0;不能反映粗差当rkk =1,vkk=k;完全反映粗差一般要求：0 rkk rkj ;（3）当仅有一个观测值含粗差k时2，数据探，数据探测法法(u 检验）原假设H0:E(vk)=0;（vk一般取残差中值最大的）备选假设H1:E(vk)0;检验统计量：当原假设H0 成立时，统计量uk N(0,1);k很小时影响判断。检验步骤：1）计算uk;2)选择适当的显著水平，查得分位值u/2;3)比较uk 与u/2，若uk u/2，则接受H0 荷兰巴尔达教授提出的数据探测法：一次剔除一个粗差。荷兰巴尔达教授提出的数据探测法：一次剔除一个粗差。2，数据探测法(u 检验）荷兰巴尔达教授提出的数据探测法3，单个粗差的残差个粗差的残差检验（1）检验原假设H0:E(vk)=0;备选假设H1:E(vk)0;检验统计量当原假设H0 成立时，统计量检验步骤：1）计算|rk|;2)选择适当的显著水平，查得分位值/2;3)比较|rk|与/2 ，若|rk|/2 则接受H0。3，单个粗差的残差检验（1）检验（2）检验原假设H0:E(vk)=0;备选假设H1:E(vk)0;检验统计量当原假设H0 成立时，统计量Bk （1/2，(n-t-1)/2)。检验步骤：1）计算Bk;2)选择适当的显著水平，查得分位值B/2;3)比较Bk与u/2，若Bk u/2 则接受H0。（2）检验（3）t 检验原假设H0:E(vk)=0;备选假设H1:E(vk)0;检验统计量当原假设H0 成立时，统计量 t(n-p-1)检验步骤：1）计算;2)选择适当的显著水平，查得分位值t/2;3)比较与t/2，若 F1-(m,n-t-m）则原假设H0 不成立建立统计量5.4 稳健估计1、最小二乘法最小二乘法：可以抵御大量随机小大量随机小误差差的影响，估值无偏，方差最小。2、稳健估健估计：平差时牺牲估值的部分最优性(效率)，以达到抗御粗差的目的。是在抗差的前提是在抗差的前提下下讲效率。效率。3、稳健性与影响函数稳健性：当实际模型偏离假定模型时，参数估值的性能不会受到太大的影响。4、广义极大似然估计（M估计)以式定义极小条件的一类估计。5、选权迭代法5.4 稳健估计1、最小二乘法：可以抵御大量随机小误差的影抗差估抗差估计指指导思想：思想：在抗差能力和效率（指估在抗差能力和效率（指估值最最优性）性）中求得最佳平衡。一般要求其效率达到中求得最佳平衡。一般要求其效率达到经典平差效率的典平差效率的90%以上。是以上。是在抗差的前提下在抗差的前提下谈效率。效率。抗差估抗差估计实质：牺牲最小二乘估牲最小二乘估计的最的最优性，达到抵抗粗性，达到抵抗粗差差污染的目的。染的目的。抗差估抗差估计的特点：的特点：当当观测数据的数据的实际分布偏离假定模型分布偏离假定模型时的不敏感性。其的不敏感性。其对子子样分布要求不十分分布要求不十分严格，只要子格，只要子样近似服从某一模型。近似服从某一模型。若母体确若母体确实为正正态时，抗差估抗差估计值无最小二乘估无最小二乘估计值优良。良。在观测数据中出现在观测数据中出现0.2%的粗差时，最小二乘估值便的粗差时，最小二乘估值便失去了其最优性，但失去了其最优性，但0.2%的粗差概率完全正常，特别是的粗差概率完全正常，特别是在现代的大数据量自动测量中。所以经典平差适用的范在现代的大数据量自动测量中。所以经典平差适用的范围狭窄。围狭窄。抗差估计指导思想：在抗差能力和效率（指估值最优性）中求得最佳 粗差作为一种模型误差，可以从两种角度去描述它：粗差作为一种模型误差，可以从两种角度去描述它：1）将粗差归入函数模型）将粗差归入函数模型数据探测法数据探测法（也称均值漂移模型）（也称均值漂移模型）2）将粗差归入随机模型）将粗差归入随机模型稳健估计法稳健估计法（也称方差膨胀模型）（也称方差膨胀模型）稳健估计法适用范围：稳健估计法适用范围：适用于确定性函数模型：如控制网平差的适用于确定性函数模型：如控制网平差的各类函数模型，且观测值要求大部分正确。不适用不确定性的函各类函数模型，且观测值要求大部分正确。不适用不确定性的函数模型：如回归数学模型、时间序列分析等。数模型：如回归数学模型、时间序列分析等。粗差作为一种模型误差，可以从两种角度去描述它：稳设有独立观测值L1、L2-Ln，其误差的密度函数为：根据极大似然估计法，其似然函数为：即或选用函数代替，使其定义广义化：第五章残差与误差检验课件M估计广义极大似然估计估计准则：其中，取为增长较慢的残差的函数，称为极值函数，为其导数。函数的构造应该满足：随着残差的增大函数的构造应该满足：随着残差的增大 该函数应该函数应该是增长很慢或是有界的，不会随残差一直增长下去。该是增长很慢或是有界的，不会随残差一直增长下去。M估计广义极大似然估计估计准则：当观测值等权且互独立时，权函数函数为：当观测值不等权但互独立时，等价等价权为：上两式称为：第j个观测值第i次迭代时所使用的权函数或等价权。Pj第j个观测值的观测权。当观测值等权且互独立时，权函数为：M估计的迭代公式：（以权函数为例）第一次平差时，权阵P=I。若为不等精度平差时，只需将上式中的权函数换成等价权。且第一次平差时权阵为观测值权阵。第五章残差与误差检验课件几种常见的选权迭代法1、Huber法2、一次范数最小法（L1估计）（中位数法）几种常见的选权迭代法3、P范最小法（LP法）4、IGG法（周江文法）5、经典最小二乘法（不具有抗差性）3、P范最小法（LP法）v1 v2 v3 v4 v5 v6 v7 给定误差 0.640.73-0.84-0.260.01-10.481.86 L2-2.290.53-0.812.572.906.00-3.42 L12-1.4100.07-0.031.499.42-1.42 L1-1.4500.0301.539.41-1.39Huber法-0.95-0.200.53-0.231.239.68-1.42 丹麦法-0.58-0.100.980.390.4810.75-1.101546372ABH3H1H2 如图，为模拟水准网，7个观测值配赋了随机误差，在第六条路线的观测高差中附加了10mm的粗差。用各种算法结果列于下表。从表中看各种选权迭代法均有抗差性，而最小二乘法不具有抗差性。v1 v2 v3 v4 选权迭代法的缺陷：迭代法的缺陷：1、由于粗差的大小及位置未知，只能、由于粗差的大小及位置未知，只能以残差来研究，且目以残差来研究，且目标函数函数 选择成成为残差残差v的函数，的函数，这并不一定符合并不一定符合实际。2、选权迭代法中，第一次按最小二乘迭代法中，第一次按最小二乘平差求得的残差受粗差的影响很大，由平差求得的残差受粗差的影响很大，由此将影响迭代的此将影响迭代的权函数函数P(v)的的选择，可，可能能导致致错误的收的收敛。选权迭代法的缺陷：M估计迭代结束时，正常观测值落入保权区；非正常但可用的观测值落入降权区；含粗差的观测值落入除权区。以上所列为理想状态。最好是用以上所列为理想状态。最好是用M估计法定位出粗差后，剔除估计法定位出粗差后，剔除粗差，重新用经典平差法进行平差。粗差，重新用经典平差法进行平差。M估计迭代结束时，以上所列为理想状态。最好是稳健估健估计（选权迭代法）的精度迭代法）的精度评定定之所以称以上三式为近似公式，是因为近似地视等价权为常数矩之所以称以上三式为近似公式，是因为近似地视等价权为常数矩阵（其实等价权是随机量，是残差的函数）。阵（其实等价权是随机量，是残差的函数）。稳健估计（选权迭代法）的精度评定之所以称以上三式为近似公式，5.5 5.5 基于相关分析的粗差检验方法基于相关分析的粗差检验方法1、相关系数的分布5.5 基于相关分析的粗差检验方法1、相关系数的分布计算出的计算出的r若大于查表所得的若大于查表所得的r，则认为在，则认为在 水平下水平下 0，x与与y统统计相关；若计相关；若r r，则认为在，则认为在 水平下水平下=0，x与与y。这称为相关系。这称为相关系数显著性检验。数显著性检验。计算出的r若大于查表所得的r，则认为在水平下0，x与分布函数表1）2）给定显著水平=0.0125，0.025，.=0，-0.1-0.9 下的临界值表（p.160，附表7）3）=-1/3 的分布函数表（p.168，附表8）分布函数表1）应用1）=0，相关系数检验表（p.160，附表7）检验2个随机变量是否线性相关。2）已知=k0 时，样本相关系数的检验。相邻三角形闭合差=-1/3。应用1）=0，相关系数检验表（p.160，附表7）2、基于相关分析的粗差检验原理2、基于相关分析的粗差检验原理设对有5个GPS站点、25条观测基线的GPS网进行平差，n=25。现在第18个观测值中加入3倍中误差的一个粗差，i=18。得左图：上图为残差上图为残差V与与观测量序列的对应关观测量序列的对应关系；系；下图为向量下图为向量Fi=F18的各分量与观的各分量与观测量序列的对应关系。测量序列的对应关系。可见两条曲线具可见两条曲线具有显著相关性。有显著相关性。设对有5个GPS站点、25条观测基线的GPS网进行平差，n=左图为有40个观测值、并在第16、18两个观测值有粗差的有关V与F16、F18的曲线图。可见可见V向量表现为向量表现为F16与与F18的叠加，即的叠加，即V与与F16和和F18的向量和具的向量和具有相似性。有相似性。左图为有40个观测值、并在第16、18两个观测第五章残差与误差检验课件