基于卡尔曼滤波的最大似然参数估计课件

国防科学技术大学航天与材料工程学院国防科学技术大学航天与材料工程学院2011-11-5基于卡尔曼滤波的极大似然估计基于卡尔曼滤波的极大似然估计基于卡尔曼滤波的最大似然参数估计一、输出误差法一、输出误差法二、方程误差法二、方程误差法三、最大似然递推算法三、最大似然递推算法四、最大似然近似算法四、最大似然近似算法五、修正最大似然准则五、修正最大似然准则基于卡尔曼滤波的最大似然参数估计非非线线性性系系统统若若初初值值准准确确，即即初初始始方方差差为为0；又又若若系系统统过过程程噪噪声声很很小小，可可忽忽略略不不计计，此此时时协协方方差差矩矩阵阵的的解解为为零零，Kalman增增益益矩矩阵阵也也为为0，即即状状态态预预估估值值就就是是状状态态本本身身，于于是是新新息息等于输出误差：等于输出误差：一、输出误差法一、输出误差法基于卡尔曼滤波的最大似然参数估计进而有准则函数：进而有准则函数：上上式式相相当当于于以以测测量量噪噪声声的的协协方方差差矩矩阵阵的的逆逆 为权的加权最小二乘估计，称之为输出误差法。为权的加权最小二乘估计，称之为输出误差法。当当测测量量噪噪声声的的特特性性已已知知，直直接接采采用用牛牛顿顿拉拉夫逊算法，即可对参数进行估计。夫逊算法，即可对参数进行估计。基于卡尔曼滤波的最大似然参数估计当当仪仪器器的的测测量量噪噪声声不不随随时时间间变变化化，则则准准则则函函数变为：数变为：当当测测量量噪噪声声的的统统计计特特性性未未知知时时，常常取取J对对Rv的导数为的导数为0，可求出测量噪声方差的最优估计：，可求出测量噪声方差的最优估计：基于卡尔曼滤波的最大似然参数估计对如下系统：对如下系统：系系统统噪噪声声通通过过状状态态方方程程影影响响观观测测量量，观观测测量量中中同时包含了观测噪声与系统噪声的贡献。同时包含了观测噪声与系统噪声的贡献。二、方程误差法二、方程误差法基于卡尔曼滤波的最大似然参数估计如如果果观观测测噪噪声声与与系系统统噪噪声声相相比比较较，可可以以忽忽略略不不计计，这这时时新新息息表表达达式式成成了了测测量量值值和和状状态态变化量预估值之间的误差。变化量预估值之间的误差。新新 息息 矩矩 阵阵 就就 是是 系系 统统 噪噪 声声 的的 方方 差差 矩矩 阵阵 。基于卡尔曼滤波的最大似然参数估计如果统计特性已知，准则函数为：如果统计特性已知，准则函数为：这这种种情情况况的的最最大大似似然然法法称称为为方方程程误误差差法法。相相当于当于 的加权最小二乘法。的加权最小二乘法。基于卡尔曼滤波的最大似然参数估计若若系系统统是是线线性性系系统统，且且已已知知过过程程噪噪声声的的统统计计特特性性，则则方方程程误误差差法法不不用用进进行行迭迭代代计计算算，直接求解线性代数方程组即可得辨识参数。直接求解线性代数方程组即可得辨识参数。假设线性系统如下：假设线性系统如下：基于卡尔曼滤波的最大似然参数估计设设A、B矩阵元素为待辨识参数，定义：矩阵元素为待辨识参数，定义：则：则：指标函数可以写为：指标函数可以写为：为观测量。为观测量。基于卡尔曼滤波的最大似然参数估计可以推出可以推出 的最优估计的最优估计 满足必要条件：满足必要条件：于是有：于是有：求解上述方程组，即可确定待辨识参数。求解上述方程组，即可确定待辨识参数。基于卡尔曼滤波的最大似然参数估计递递推推算算法法逐逐点点进进行行数数据据处处理理，观观测测数数据据每每采采样样一一次次，就就利利用用新新观观测测信信息息更更新新一一次次参参数数估计值，不断提高参数估计的准度。估计值，不断提高参数估计的准度。根根据据该该特特点点，递递推推最最大大似似然然方方法法可可以以作作为为一种在线估计方法。一种在线估计方法。三、最大似然递推算法三、最大似然递推算法基于卡尔曼滤波的最大似然参数估计递递推推最最大大似似然然估估计计的的思思路路：将将j时时刻刻准准则则函函数数J(j)表表示示成成j-1时时刻刻的的准准则则函函数数和和j时时刻刻新新息息的的形形式式；对对J(j)在在 处处展展开开，并并略略去去二二阶阶以以上上项项，于于是是得得到到使使J(j)达达到到极极小小的的必必要要条条件件；利利用用必必要要条条件及准则函数的性质可得递推公式。件及准则函数的性质可得递推公式。基于卡尔曼滤波的最大似然参数估计将指标函数表示成如下递推形式：将指标函数表示成如下递推形式：将上式在将上式在 处展开，则有：处展开，则有：基于卡尔曼滤波的最大似然参数估计其中：基于卡尔曼滤波的最大似然参数估计进一步，将上式配方为：基于卡尔曼滤波的最大似然参数估计上上式式各各项项都都在在 的的条条件件下下取取值值，d是是 的的二二次次型型函函数数，与与 无无关关。故故要要使使J(j)极极小小的的必必要要条条件件是是 ，即有：，即有：基于卡尔曼滤波的最大似然参数估计由信息矩阵公式：由信息矩阵公式：结合准则函数：结合准则函数：可得：可得：基于卡尔曼滤波的最大似然参数估计由矩阵求逆公式：由矩阵求逆公式：则有：则有：其中：其中：基于卡尔曼滤波的最大似然参数估计于是可得最大似然算法的递推公式：于是可得最大似然算法的递推公式：与与Kalman滤滤波波公公式式比比较较，相相当当于于将将观观测测噪噪声声中中的的hT变换成了变换成了 。基于卡尔曼滤波的最大似然参数估计考考虑虑观观测测噪噪声声与与过过程程噪噪声声的的最最大大似似然然法法，其其计计算算都都很很复复杂杂，每每次次迭迭代代计计算算需需要要计计算算大大量量数数据据，而而且且协协方方差差在在计计算算过过程程中中还还常常会会出出现现不不收收敛敛的的情情况况，故故在在实实际际应应用用中中常作不同程度的简化。常作不同程度的简化。四、最大似然近似算法四、最大似然近似算法基于卡尔曼滤波的最大似然参数估计（1）信息矩阵）信息矩阵B与增益矩阵与增益矩阵K的简化的简化将似然函数对将似然函数对B求极值，可得求极值，可得B的最优估计：的最优估计：取取B为此常值，则可以简化准则函数的求导运算：为此常值，则可以简化准则函数的求导运算：基于卡尔曼滤波的最大似然参数估计对于增益阵对于增益阵K，定义：，定义：式式中中 表表示示除除l，m位位置置的的元元素素为为1外外，其其它它都都为为0。这这种种简简化化在在已已知知噪噪声声特特性性时时可可能能会会出现矛盾的结果。出现矛盾的结果。基于卡尔曼滤波的最大似然参数估计（2）稳态线性系统的近似算法）稳态线性系统的近似算法常常系系数数线线性性动动力力学学系系统统的的过过程程噪噪声声和和测测量量噪噪声声的的统统计计特特性性变变化化不不大大时时，可可假假定定系系统统在在运运行行一一段段时时间间后后趋趋于于稳稳态态状状态态，其其卡卡尔尔曼曼滤滤波波器器的的增增益益、新新息息协协方方差差矩矩阵阵和和状状态态协协方方差差矩矩阵阵都都是是常数，从而进一步简化最大似然算法。常数，从而进一步简化最大似然算法。基于卡尔曼滤波的最大似然参数估计最最大大似似然然法法所所取取的的似似然然函函数数是是给给定定参参数数 条条件件下下观观测测量量出出现现的的条条件件概概率率。若若将将似似然然函函数数取取为为观观测测量量和和待待估估计计参参数数出出现现的的联联合合概率，则称为修正最大似然法。概率，则称为修正最大似然法。五、修正最大似然准则五、修正最大似然准则基于卡尔曼滤波的最大似然参数估计其对应的指标函数如下：其对应的指标函数如下：由上式可见，修正最大似然估计是比最大似由上式可见，修正最大似然估计是比最大似然估计更为广泛的一种估计，而最大似然估然估计更为广泛的一种估计，而最大似然估计是一种特殊情况。计是一种特殊情况。基于卡尔曼滤波的最大似然参数估计与与最最大大似似然然估估计计比比较较可可见见，修修正正最最大大似似然然估估计计的的要要点点在在于于引引进进参参数数 的的先先验验知知识识。若若没没有有先先验验知知识识，很很大大，趋趋于零，修正最大似然法就成了最大似然法。于零，修正最大似然法就成了最大似然法。基于卡尔曼滤波的最大似然参数估计若若 的的先先验验知知识识比比较较可可靠靠，较较小小，则则后后面面一一项项就就起起作作用用。对对于于测测量量误误差差很很大大的的试试验验，其其数数据据的的 很很大大，则则前前面面一一项项的的作作用用减减弱弱，辨辨识识出出的的 将将靠靠近近于于 。基于卡尔曼滤波的最大似然参数估计习题：习题：8-7，8-8基于卡尔曼滤波的最大似然参数估计谢谢！基于卡尔曼滤波的最大似然参数估计