大学变形监测PPT课件第17章变形监测资料预处理

2022-12-17测绘与国土信息工程系测绘与国土信息工程系1变形监测与数据处理第十七章变形监测资料预处理2022-12-17测绘与国土信息工程系测绘与国土信息工程系2主要内容监测资料检核资料检核的一元线性回归分析法监测网观测资料的数据筛选监测资料奇异值的检验与插补变形监测成果的整理监测资料管理第十七章变形监测资料预处理变形监测资料预处理2022-12-17测绘与国土信息工程系测绘与国土信息工程系31监测资料检核变形监测与数据处理第十七章第十七章变形监测资料预处理变形监测资料预处理2022-12-17测绘与国土信息工程系测绘与国土信息工程系4监测资料中观测误差分类第1节监测资料检核粗差：不允许存在系统误差：一定的观测程序消除或削弱偶然误差2022-12-17测绘与国土信息工程系测绘与国土信息工程系5监测资料检核方法检核各项原始记录，检查各次变形值计算是否有误原始资料统计分析原始观测值的逻辑分析根据监测点的内在物理意义来分析原始观测值的可靠性，一般进行一致性分析和相关性分析第1节监测资料检核2022-12-17测绘与国土信息工程系测绘与国土信息工程系6一致性分析从时间的关联性来分析连续积累的资料，从变化趋势上推测它是否具有一致性，即分析任一测点原始观测值与前一次（或前几次）原始观测值的变化关系。另外，还要分析该效应量（本次观测值）与某相应原因量之间的关系和以前测次的情况是否一致。一致性分析的主要手段是绘制时间效应量的过程曲线和原因效应量的相关图。第1节监测资料检核2022-12-17测绘与国土信息工程系测绘与国土信息工程系7相关性分析从空间的关联性出发来检查一些内在物理联系的效应量之间的相关性，即将某点本次某量的原始观测值与邻近部位（条件基本一致）各测点的本测次同类效应量或有关效应量的相应原始观测值进行比较，视其是否符合它们之间应有的力学关系。第1节监测资料检核2022-12-17测绘与国土信息工程系测绘与国土信息工程系8挠度观测的相关性第1节监测资料检核2022-12-17测绘与国土信息工程系测绘与国土信息工程系9某坝三个坝段水平位移过程线第1节监测资料检核2022-12-17测绘与国土信息工程系测绘与国土信息工程系10某测点垂直位移过程线图第1节监测资料检核2022-12-17测绘与国土信息工程系测绘与国土信息工程系11逻辑分析结果异常情况在逻辑分析中，若新测值无论展绘于过程线图或相关图上，展绘点与趋势延长段之间的偏距都超过以往实测值展绘点与趋势线间偏距的平均值时，则有二种可能性：1、该测次观测值存在较大的误差2、险情的萌芽对新测次观测值进行检查（读数、记录、量测仪表设备和监测系统工作是否正常）后，如无量测错误，则应接纳此观测值，放入监测资料库，但对此应引起警惕。第1节监测资料检核2022-12-17测绘与国土信息工程系测绘与国土信息工程系122一元线性回归分析法变形监测与数据处理第十七章第十七章变形监测资料预处理变形监测资料预处理2022-12-17测绘与国土信息工程系测绘与国土信息工程系13第2节一元线性回归法一元线性回归处理的对象处理两个变量之间的关系两个变量的关系是线性的2022-12-17测绘与国土信息工程系测绘与国土信息工程系14第2节一元线性回归法回归分析与相关分析回归分析在处理两个变量问题时，是讨论一个非随机变量和一个随机变量的情形。相关分析则讨论两个都是随机变量的情形。如：对各坝段所测变形进行相互检核的情况，由于两个观测值都是随机变量，故属于相关分析范畴。尽管概念不同，但处理方法基本相同，可不严格区分2022-12-17测绘与国土信息工程系测绘与国土信息工程系15第2节一元线性回归法一元线性回归分析原理（1）02000001,2,(0,)2iiiiiiiiiiyxinNbbybbxbbyyvyyyybbxvvsn一元线性回归的数学模型为：，其中 是随机误差，一般假设它们相互独立且服从同一正态分布用最小二乘求、的估值、，则可得一元线性回归方程、是回归方程系数回归值 与实测值 之差：表示 与回归直线的偏离程度。用下式计算因变量估值的中误差2022-12-17测绘与国土信息工程系测绘与国土信息工程系16第2节一元线性回归法一元线性回归分析原理（2）122112()()()()1xyxyniixyinnxyiiiinyxxxyyss sxxyyxyxyxy 求回归直线的前提是变量 与 必须存在线性相关，否则所配直线无实际意义，线性相关的指标是相关系数其估值为式中、分别为自变量和因变量的平均值。当 愈接近，表明、线性相关密切。如 大于相关系数表，则、线性相关密切，此时配置的回归直线才有价值。2022-12-17测绘与国土信息工程系测绘与国土信息工程系17相关系数检验法的临界值第1节监测资料检核2022-12-17测绘与国土信息工程系测绘与国土信息工程系18某坝3个坝段水平位移观测资料第2节一元线性回归法2022-12-17测绘与国土信息工程系测绘与国土信息工程系19按10计算的1976、1977年11坝段水平位移的估值与实测值比较（单位：mm)第2节一元线性回归法2022-12-17测绘与国土信息工程系测绘与国土信息工程系203监测网观测资料的数据筛选变形监测与数据处理第十七章第十七章变形监测资料预处理变形监测资料预处理2022-12-17测绘与国土信息工程系测绘与国土信息工程系21数据筛选原理第3节监测网观测资料的数据筛选超限误差的整体检验超限误差的局部检验超限误差的检验步骤观测值剔除前、后平差成果间转换2022-12-17测绘与国土信息工程系测绘与国土信息工程系22超限误差的整体检验第3节监测网观测资料的数据筛选12112211120222112200:0llnllllnlnlVAXDQlVAIHlVlV 维观测向量，分成 和 两部分。其中 是 维观测向量，不包含超限误差；是 维的，可能含有超限误差。参数平差数学模型为：为了从整体上判断观测向量中是否伴随超限误差，作原假设。当将原假设作为约束条件，消去，则有：1212,00TrrAXAIVVlVAXV PVrFFFFH202020、表示有约束条件时的改正数，上式简写为：由最小二乘求母体方差估值：在原假设成立时，当接受2022-12-17测绘与国土信息工程系测绘与国土信息工程系23超限误差的局部检验F检验法第3节监测网观测资料的数据筛选1120,0,1,0,0()0:0iiiiiTiTTTiTTTiiiiiTTiiiVViTiVViTdiXllVAeeXA PAA PeA Ple PAe Pee Ple PVQe PQ Pee PQ Ped Q dHSr 设只有一个观测值 伴随有超限误差，则有：式中，相应法方程式为，作原假设。单位权方差估算公式：顾及2221,20()1TiiTiVVie PVrdSe PQ PeSFFF，则。令，当时接受原假设2022-12-17测绘与国土信息工程系测绘与国土信息工程系24超限误差的局部检验u检验法第3节监测网观测资料的数据筛选1/200120()0Bii iiTiiiTiVViiiv viiFe PVWe PQ PePvWqP WuHl 在 检验法中，将变量标准化得统计量服从标准正态分布。对于一般情况，观测值权阵 为对角阵，则有：利用概率公式：可对原假设进行统计检验，从而决定观测值 是否伴随有超限误差。此法由荷兰Baarde教授首先提出，又称 检验法。2022-12-17测绘与国土信息工程系测绘与国土信息工程系25超限误差的局部检验检验法第3节监测网观测资料的数据筛选2200220001221212()0()i iTiiiv viuV PVPopervlqrPr Hr ttr检验法要求预先知道观测值母体方差，但某些情况下，未知。为此提出用剔除观测值所得方差估值来代替，构成统计量：，并指出在原假设观测值 不含超限误差时，统计量服从自由度为 的 分布，故可用概率式对原假设进行 检验。分布的分位值可由 分布的分位值按：2121)1(1)rrtr 计算得到。2022-12-17测绘与国土信息工程系测绘与国土信息工程系26超限误差的局部检验t检验法第3节监测网观测资料的数据筛选20()()2200()012()()10:1(1)0ti iTkkiikv vHeckV PVlrvtqHtrtP ttrH当母体方差未知时，提出利用剔除具有超限误差的观测值后平差求得的方差估值：来代替，得统计量作原假设观测值不含超限误差时，统计量 服从自由度为的 分布，故可用概率式：对原假设进行 检验。2022-12-17测绘与国土信息工程系测绘与国土信息工程系27超限误差的检验步骤第3节监测网观测资料的数据筛选1()()2/max(/)()i ii iTXXXXTTTTTVVXXllXXllXXVViv viv vkXQVAQA PllV PVQAQA PI QAQA PIQAQAVQvqvql、对变形监测网各期分别进行经典平差，求得未知数向量及其协因数阵，由此计算：，得到并进行整体检验。如存在超限误差时，则计算：、利用向量 中元素与矩阵主对角线上相应元素计算：，并取相应的观测值作为可能伴随有超限3413kkll误差的观测值。、利用局部检验法对原假设进行检验。当接受原假设时，则认为监测网观测值未包含有超限误差。否则，观测值 被认为受到超限误差的影响，应予以剔除。、在拒绝原假设时，剔除，重复，直至没有超限误差存在的可能（接受原假设）。2022-12-17测绘与国土信息工程系测绘与国土信息工程系28剔除一个观测值前后平差成果转换（1）第3节监测网观测资料的数据筛选kkk11k11kkk11k11llk1k1PPPPPQQQQQllXaAVHeckB,.且有的转换关系式：前后平差结果之间推证了剔除一个观测值为了简化计算，重新进行平差计算，除一个观测值后，需要逐一将它们剔除。每剔测值时，我们必须中包含有超限误差的观由上述可知，当观测值2022-12-17测绘与国土信息工程系测绘与国土信息工程系29剔除一个观测值前后平差成果转换（2）第3节监测网观测资料的数据筛选 kkkk1111kkkkkkVVkTk11TkkTTXXkTkXXVVVVkVVTkXXVVk1k1XXkTkXXVVXXkXXTkXXVVkkkTVVkkXXkkkTVVXXqVPVVVPVPVVAQaaQAq1QQaQAqVVVQaaQq1QQaQqVXXPVVQVQXlPVVQVQX211111)(）（它们之间转换关系为：。）、（、后，相应的值为观测值表示，而剔除、平差值与协因素阵等以2022-12-17测绘与国土信息工程系测绘与国土信息工程系30剔除一个观测值前后平差成果转换（3）第3节监测网观测资料的数据筛选则前式变成时也即时当观测值之间相互独立上式中,kk11kk11llTkXXkkkVV1k11kkkk1k11kkkkP00PPQ00QQaQaP1qPPVVAPPaakk2022-12-17测绘与国土信息工程系测绘与国土信息工程系31剔除一个观测值前后平差成果转换（4）第3节监测网观测资料的数据筛选kkkkVVTkXXkkkVVkkkkqaQaP1qVVaa2022-12-17测绘与国土信息工程系测绘与国土信息工程系32剔除一个观测值前后平差成果转换（算例）1第3节监测网观测资料的数据筛选超限误差。否包含试检验观测值向量中是）为观测向量（单位：。通过观测获得误差一站之中的表示测站数。水准测量圈中的数字箭头表示观测方向，圆准网，图中如图所示的形变监测水0083027520471.326500.08149.707450.068hhhhhhhmm0.13mm34241431231200.2022-12-17测绘与国土信息工程系测绘与国土信息工程系33剔除一个观测值前后平差成果转换（算例）2第3节监测网观测资料的数据筛选0.33330.166700.16670.3333010.3333Q36063013P121llll,.的权阵与协因素阵为：位权中误差，则观测值站的水准测量误差为单设取式组成误差方程与法方程解：2022-12-17测绘与国土信息工程系测绘与国土信息工程系34第3节监测网观测资料的数据筛选2859.5821639.9741178.847PlA15363716110Nl-XAVhhhhhhxxx110101100010011001vvvvvvV0Hxxx3,42H1T34241431231243234241431231214321，向量为法方程系数阵和常数项即方程可写为：，则误差且设的高程为点的高程为假设点,剔除一个观测值前后平差成果转换（算例）32022-12-17测绘与国土信息工程系测绘与国土信息工程系35第3节监测网观测资料的数据筛选差观测值。限认为观测值中包含有超故拒绝原假设计算求得、解法方程式，求,.26,255.69bVPVF2.8237VPV0.47120.16430.40020.38160.2691 0.4185lXAV925847046265004865450PlAQX105022800.054794506849320054794501735160005022830068493200502283014611870NQQV200TTTTXX1XXVV剔除一个观测值前后平差成果转换（算例）42022-12-17测绘与国土信息工程系测绘与国土信息工程系36第3节监测网观测资料的数据筛选,.,.,.,.,.,.31643.00319.00525.00502.00365.00616.01187.00046.00548.01598.01370.00822.00137.01233.07808.00183.00776.00685.00502.00959.01872.016251qV71700qV61241qV95460qV30450qV96730qVtBAAQQQ665544332211vv6vv5vv4vv3vv2vv1k000TXXllVV：互独立，故先计算求得于本例，由于观测值相可先计算公共部分。对，故，不同的只是检验法的统计量中，所检验法、检验法、由于假设检验计算局部检验统计量与称对）（剔除一个观测值前后平差成果转换（算例）52022-12-17测绘与国土信息工程系测绘与国土信息工程系37第3节监测网观测资料的数据筛选中包含有超限误差。怀疑故拒绝原假设因。，则分位值若取显著水平为为差）个测站水准测量的中误故单位权中误差（，误差为因模拟时一测站水准中检验法）。它相应的观测值为显然1414211414vv4vvih961W961u0.05W0.45mm,120.13mmB1hqVqVmax44ii,.58.3.58.345.06124.1,剔除一个观测值前后平差成果转换（算例）62022-12-17测绘与国土信息工程系测绘与国土信息工程系38第3节监测网观测资料的数据筛选。检验法得到的结论相同故与因为分位值可计算。按公式时查表得显著水平为在自由度为由此得粗差前的中误差估值，可以计算求得剔除与观测值权阵量由平差求得的改正数向检验法）B1.645,6611.6454.301-34.30333042t05026610.971.61240.97mm3-6VPVPV214229750975014T0.)(.)(.,.剔除一个观测值前后平差成果转换（算例）72022-12-17测绘与国土信息工程系测绘与国土信息工程系39第3节监测网观测资料的数据筛选误差。测值中不再包含有超限检核结果表明，其余观行检核。对于本算例，后，需对其余观测值进差的观测值注意：剔除具有超限误与前两法的结论相同。包含有超限误差故怀疑因统计量由此得：相互独立，故有对此算例，观测值之间，此处，我们用公式计算。）观测值后的方差估值（超限误差的检验，需计算剔除具有为了利用检验法）（）（h14,h3,4824t4.820.3341.6124t140.334350.22370.22372.6002.8237VPV2.600qVqVqV-VPVVPVltt31414kkTVVkVVkVVkTkT2kikkkkkk.)()(222剔除一个观测值前后平差成果转换（算例）82022-12-17测绘与国土信息工程系测绘与国土信息工程系404监测资料奇异值的检验与插补变形监测与数据处理第十七章第十七章变形监测资料预处理变形监测资料预处理2022-12-17测绘与国土信息工程系测绘与国土信息工程系41监测自动化系统中观测数据序列的奇异值检验第4节监测资料奇异值的检验与插补对于任一个监测系统，其观测数据或多或少存在奇异值，在变形分析的开始有必要将该奇异值剔除。考虑到系统的连续、实时和自动化，最简便的方法是用“3准则”来剔除奇异值。其中，观测数据的中误差可用观测值序列本身直接进行估计，也可根据长期观测的统计结果确定，或取经验数值。2022-12-17测绘与国土信息工程系测绘与国土信息工程系42监测自动化系统中观测数据序列的奇异值检验（方法一）第4节监测资料奇异值的检验与插补121121122,2()2,3,1()233njjjjnnjjdjjjjjdjjx xxdxxxjnddddnndddqqx对于观测数据列根据绝差的绝对值与方差的比值当 时，则认为 是奇异值，应舍弃。2022-12-17测绘与国土信息工程系测绘与国土信息工程系43监测自动化系统中观测数据序列的奇异值检验（方法二）第4节监测资料奇异值的检验与插补12112,()3,4,23njjjjjjjjdjdjx xxxxxxjndxxmmdmdx对于观测数据列，用一级差分方程预测设观测数据中误差为可根据长期观测资料计算或取经验数据则 的均方差为当时，则认为 是奇异值，应舍弃。2022-12-17测绘与国土信息工程系测绘与国土信息工程系44监测资料的插补第4节监测资料奇异值的检验与插补由于各种主、客观条件的限制，当实测资料出现漏测、奇异值舍弃，观测数据序列“断链”，应利用已有的相邻测次或相邻测点的可靠资料进行插补。插补方法有：1、按内在物理联系进行插补2、按数学方法进行插补2022-12-17测绘与国土信息工程系测绘与国土信息工程系45按内在物理联系进行插补按内在物理联系进行插补 按照物理意义，根据对已测资料的逻辑分析，找出主要原因量之间的函数关系，再利用这种关系，将缺漏值插补出来第4节监测资料奇异值的检验与插补2022-12-17测绘与国土信息工程系测绘与国土信息工程系46数学方法插补第4节监测资料奇异值的检验与插补线性内插法拉格朗日内插计算多项式曲线拟合周期函数曲线拟合多面函数拟合2022-12-17测绘与国土信息工程系测绘与国土信息工程系47线性内插法第4节监测资料奇异值的检验与插补11()iiiiittyyytt由某两个实测值内插此两值之间的观测值2022-12-17测绘与国土信息工程系测绘与国土信息工程系48拉格朗日内插第4节监测资料奇异值的检验与插补11nnjiijijj ixxyyxx 对变化情况复杂的效应量，按下式计算2022-12-17测绘与国土信息工程系测绘与国土信息工程系49多项式曲线拟合第4节监测资料奇异值的检验与插补2012()nnyf xaa xa xa x2022-12-17测绘与国土信息工程系测绘与国土信息工程系50周期函数曲线拟合第4节监测资料奇异值的检验与插补01122()cossincos2sin2cossin2/tnnyf taatbtatbtan tbn tMM为频率，为一个周期中所包含的时段数2022-12-17测绘与国土信息工程系测绘与国土信息工程系51多面函数拟合第4节监测资料奇异值的检验与插补112221111(,)(,)(,)(,)()()()()ujjjjjjjjjjjTTTTPPPPs x yQ x y xyuQ x y xyQ x y xyxxyysQmuQsmuVQsQ QQ sPsQ QssQQ QQ s为 结 点 个 数，为 核 函 数为 待 定 系 数一 般 取为 光 滑 因 子当时，当时，推 算 某 点：或 2022-12-17测绘与国土信息工程系测绘与国土信息工程系525变形监测成果的整理变形监测与数据处理第十七章第十七章变形监测资料预处理变形监测资料预处理2022-12-17测绘与国土信息工程系测绘与国土信息工程系53工作基点位移对变形值的影响第5节监测资料成果的整理基准线观测：端点位移前方交会：测站点位移2022-12-17测绘与国土信息工程系测绘与国土信息工程系54工作基点位移对偏离值的影响第5节监测资料成果的整理2022-12-17测绘与国土信息工程系测绘与国土信息工程系55观测资料的整编第5节监测资料成果的整理观测点变形过程曲线 1、填写变形数值表 2、绘制观测点实测变形过程线 3、实测变形过程线修匀变形分布图1、变形值剖面分布图 2、沉陷等值线图变形值的统计规律及其成因分析2022-12-17测绘与国土信息工程系测绘与国土信息工程系56位移数值表第5节监测资料成果的整理2022-12-17测绘与国土信息工程系测绘与国土信息工程系57观测点变形过程线第5节监测资料成果的整理2022-12-17测绘与国土信息工程系测绘与国土信息工程系58修匀后变形过程线第5节监测资料成果的整理2022-12-17测绘与国土信息工程系测绘与国土信息工程系59某土石坝沉降过程线第5节监测资料成果的整理2022-12-17测绘与国土信息工程系测绘与国土信息工程系60某土石坝坝顶水平位移状况第5节监测资料成果的整理2022-12-17测绘与国土信息工程系测绘与国土信息工程系61某混凝土坝两个不同高程面上的水平位移情况第5节监测资料成果的整理2022-12-17测绘与国土信息工程系测绘与国土信息工程系62三个不同高程面处的沉降情况第5节监测资料成果的整理2022-12-17测绘与国土信息工程系测绘与国土信息工程系63某坝的挠曲变形情况第5节监测资料成果的整理2022-12-17测绘与国土信息工程系测绘与国土信息工程系64某坝的沉降等值线图第5节监测资料成果的整理2022-12-17测绘与国土信息工程系测绘与国土信息工程系65某建筑物基础沉降等值线图第5节监测资料成果的整理2022-12-17测绘与国土信息工程系测绘与国土信息工程系666监测资料管理变形监测与数据处理第十七章第十七章变形监测资料预处理变形监测资料预处理2022-12-17测绘与国土信息工程系测绘与国土信息工程系67监测资料管理系统第6节监测资料管理监测资料管理系统一般分为：1、人工管理处理2、计算机辅助人工处理3、数据库管理系统数据库管理系统功能1、各种监测资料以及有关文件资料的存储、更新、增删、更改、检索和管理2、监测资料的处理3、监测资料的解释2022-12-17测绘与国土信息工程系测绘与国土信息工程系68安全监测资料管理系统逻辑结构图第6节监测资料管理2022-12-17测绘与国土信息工程系测绘与国土信息工程系69资料库管理流程图第6节监测资料管理2022-12-17测绘与国土信息工程系测绘与国土信息工程系70数据仓库系统逻辑结构图第6节监测资料管理