第二十四讲：最小二乘估计波形估计

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,7.6,最小二乘估计（,Least Square Estimate,）,最小二乘估计是一种对数据的概率分布未做任何假定的一种估计方法，仅对数据模型进行假定。,Signal,Model,Perturbation,noise,Model,inaccuracies,Signal,Model,-,+,1,选择一种,的,最佳估计,使,s,(,n,),最接近,z,(,n,),例如：,DC,电平信号,2,例：正弦信号频率的估计,最小化难以得到闭合性形式的解，原因是信号与未知参数,f,0,之间存在高度的非线性关系。,3,加权最小二乘估计,4,讨论：,（,1,） 当观测噪声的均值为零时，最小二乘与加权最小二乘是无偏估计。,5,（,2,）估计的方差阵,6,(3),对于加权最小二乘估计，如果有一些模型的知识，如,E(,v,)=0,，,E,vv,T,=R,，当,W=R,-1,时，估计误差的方差阵达到最小，这个最小的方差阵为,这时的估计称为马尔可夫估计,7,例：信号幅度的估计,设,N,次独立观测为,方法一：,8,方法,2,：,9,信号处理实例：最小二乘在目标跟踪中的应用,目标的跟踪问题可等效成一个曲线拟合问题,假定目标做匀速直线运动,运动模型（只考虑,x,方向）：,10,观测模型：,令,11,递推算法：,批处理算法，运算量太大。,12,递推算法：,13,7.7,波形估计,(Waveform Estimation),根据,z,(,n,),n,n,0,n,f,估计,s,(,n,),波形估计的应用,图像恢复,语音恢复,目标跟踪,弹道数据处理,14,1.,波形估计的三种类型,(1),滤波： 根据当前和过去的观测值,z,(,k,),k,=,n,0,n,0,+1,.,n,对信号,s,(,n,),进行估计,(2),预测,:,根据当前和过去的观测值,z,(,k,),k,=,n,0,n,0,+1,.,n,f,对未来时刻,n,(,n,n,f,),的信号,s,(,n,),进行估计，预测也称为外推。,数据,数据,15,(3),内插,:,根据某一区间的观测数据,z,(,k,),k,=,n,0,n,0,+1,.,n,f,对区间内的某一个时刻,n,(,n,0,n,n,f,),的信号进行估计，内插也称为平滑。,数据,16,波形估计宜采用可建立递推算法的线性最小均方估计或最小二乘估计。,v,(,n,),相互独立，且,若采用最大似然估计,17,这个估计量是没有意义的，因为没有对观测做任何处理。,18,最小均方估计：,线性最小均方估计：,滤波,19,由正交原理：,Wiener-Holf,方程,波形估计的关键是如何求解,Wiener-Holf,方程,20,维纳滤波器,假定信号和观测过程是平稳随机序列，并且是联合平稳随机序列，系统为线性时不变离散时间线性系统，,n,0,= -,，即观测数据为,z,(,k,), -,k,，,21,维纳滤波器,22,当信号,s(n),与观测噪声统计独立时,23,如果假定,z,(,k,), -,k,，系统为因果的线性时不变系统,24,当观测为白噪声的时候，,25,如果不是白噪声，那么可以先白化,H,w,(,z),H,2,(,z),26,例,7.13,设观测过程为,z,(,n,)=,s,(,n,)+,v,(,n,),，其中假定观测噪声,v,(,n,),为零均值白噪声，方差为,1,，,s,(,n,),是具有有理谱的平稳随机序列，功率谱密度为,信号,s,(,n,),与,v,(,n,),统计独立，求估计,s,(,n,),的维纳滤波器,27,解：,28,29,连续时间的维纳滤波器,离散时间滤波,连续时间滤波,物理可实现,物理可实现,30,例,7.13,设观测过程为,z,(,t,)=,s,(,t,)+,v,(,t,),，,-,t,其中假定观测噪声,v,(,n,),为零均值白噪声，功率谱密度为,1,，,s,(,n,),是具有有理谱的平稳随机过陈，功率谱密度为,求估计,s(t),的维纳滤波器。,31,第七章小结,贝叶斯估计,非贝叶斯估计,最小均方估计,条件中位数估计,最大后验概率估计,线性最小均方估计,最大似然估计,最小二乘估计,都需要计算后验概率密度,需要计算似然函数,只对数据模型进行假定,32,1.,最小均方估计,平方代价函数的贝叶斯估计,最小均方估计是无偏估计,2.,条件中位数估计,绝对值代价函数的贝叶斯估计,33,3.,最大后验概率估计,采用绝对值代价函数的贝叶斯估计,最大后验概率方程,34,贝叶斯估计都需要计算后验概率密度，需要已知被估计量的分布特性。,先验信息的应用，有利于提高估计的性能。,35,Mean=Median=Mode,高斯后验分布,36,4.,最大似然估计,最大似然方程：,37,常用信号参数的估计,（,1,） 高斯白噪声中恒定电平的估计,（,2,） 高斯白噪声的方差估计,均值为零,均值已知,均值未知,38,（,3,）信号幅度的估计,z,n,=,As,n,+,v,n,，,n,=0,1,.,N,-1,正弦信号幅度估计,:,39,(4),正弦信号相位的估计,40,5.,估计的性能,0,Desire PDF,概率密度越尖越好,均值要等于真值,方差越小越好,对于有偏估计，,均方误差越小越好,性能指标：无偏性 有效性 一致性,41,估计量的,CRLB,当且仅当,任何无偏估计的方差满足,42,达到,CRLB,的估计称为效估计量,如果有效估计量存在，则该有效估计量一定是最大似然估计,如果有效估计量不存在，则最大似然估计 的方差不一定是最小的。,最大似然估计是渐近有效估计量，即,43,随机参量的,CRLB,任何无偏估计的均方误差满足,等号成立的条件,44,如果有某个无偏估计达到,CRLB,那么该估计必定是最大后验概率估计,.,而最小均方估计的均方误差也是最小的,所以这时最小均方估计与最大后验概率估计等价,.,45,6.,线性最小均方估计,46,线性最小均方估计是无偏的。,当观测与被估计量,是联合高斯分布式，线性最小均方估计与最小均方估计等价。,矢量形式：,47,7.,最小二乘估计,48,性质：,当观测噪声的均值为零时，最小二乘与加权最小二乘是无偏估计。,W=R,-1,时称为马尔可夫估计,49,8.,波形估计,滤波、预测、平滑的概念,运用正交原理获得,Wiener-Holf,方程,50,离散时间滤波,连续时间滤波,物理可实现,物理可实现,51,习题：,7.23 7.24 7.25,52,