极大似然估计法课件

对参数估计来说，预报误差法、极大似然法适用范围均较为广泛，它们不仅适用于线性模型也适用于非线性模型，是处理残差序列相关情况下的另一类辩识算法。预报误差法类似于最小二乘法，它并不要求任何关于数据概率分布的统计假设为前提条件，而极大似然估计属于一种概率性的参数估计法。随机逼近法是由统计学中，通过连续逼近以获得估计参数发展而来的。它是随机问题的梯度法应用于观测数据被噪声污染，且对此噪声的统计特性不够了解的情况。算法十分简单，具有实用价值。第六章极大似然法及其它辩识方法第六章极大似然法及其它辩识方法1对参数估计来说，预报误差法、极大似然法适用范围均较为广泛，它极大似然的思想极大似然的思想先看一个简单例子：某位同学与一位猎人一起外出打猎，一只野兔从前方窜过。只听一声枪响，野兔应声到下了，如果要你推测，这一发命中的子弹是谁打的？你就会想，只发一枪便打中，由于猎人命中的概率一般大于这位同学命中的概率，看来这一枪应该是猎人射中的。这个例子所作的推断就体现了极大似然的基本思想。2极大似然的思想先看一个简单例子：某位同学与一位如果样本取值x1x2xn，则事件发生的概率为。这一概率随 的值变化而变化。从直观上来看，既然样本值x1x2xn已经出现 了，它们出现的概率相对来说应比较大，应使其概 率取比较大的值。取似然函数如下：设总体X是离散型随机变量，其概率函数为 ，其中是未知参数。设X1X2Xn为取自总体X的样本。X1X2Xn的联合概率函数为。这里，是常量，X1X2Xn是变量。3如果样本取值x1x2xn，则事件设总体X因此，求参数的极大似然估计值的问题就是求似然函数最大值问题。这通过解方程 来得到。因为 和的增减性相同，所以它们在的同一值处取得最大值，称为对数似然函数。可以通过求解下列方程来得到极大似然解。极大似然估计法就是在参数的可能取值范围内，选取使达到最大的参数值，作为参数的估计值。即取，使得：4因此，求参数的极大似然估计值的问题就是求似然函数最例1：设某工序生产的产品的不合格率为p，抽n个产品作检验，发现有T个不合格，试求p的极大似然估计值。分析：设X是抽查一个产品时的不合格品的个数，则X服从参数为p的两点分布。抽查n个产品，则得样本X1,X2,Xn，其观察值为x1,x2xn，假如样本有T个不合格，即表示x1,x2xn中有T个取值为1，有n-T个取值为0。基于此求参数p的极大似然估计值。5例1：设某工序生产的产品的不合格率为p，抽n个产品作检验，发(1)写出似然函数(2)对似然函数取对数，得到对数似然函数:(3)对似然函数求导，令其为零，得到似然估计值6(1)写出似然函数(2)对似然函数取对数，得到对数似然函例2：设某机床加工的轴的直径与图纸规定的中心尺寸的偏差服从，其中参数未知。为了估计，从中随机抽取n=100根轴，测得其偏差为x1,x2x100。试求的极大似然估计。分析：显然，该问题是求解含有多个(两个)未知参数的极大似然估计问题。通过建立关于未知参数的似然方程组，从而进行求解。7例2：设某机床加工的轴的直径与图纸规定的中心尺寸的偏差服从88例3：某电子管的使用寿命X(单位:小时)服从指数分布：今取得一组样本Xk数据如下，问如何估计？16295068100130140270 280340410450520620190210800 11009例3：某电子管的使用寿命X(单位:小时)服从指数分布：今取得10101、由总体分布导出样本的联合概率函数；2、把样本联合概率函数中自变量看成已知常数，而把参数看作自变量，得到似然函数；3、求似然函数的最大值点(常转化为求对数似 然函数的最大值点)；4、在最大值点的表达式中，用样本值代入就得 参数的极大似然估计值。极大似然估计的法的运算步骤：极大似然估计的法的运算步骤：111、由总体分布导出样本的联合概率函数；极大似然估计的法的运算作业：设总体的密度函数为：现在得到总体的一个样本X1,X2,Xn，其观测值为x1,x2,xn，求参数的极大似然估计。12作业：设总体的密度函数为：现在得到总体的一个样本X1,X2对极大似然原理描述如下：对于已有的一组观测数据y1,y2,yN，它所具有的联合概率分布表示 了 出 现 该 观 测 结 果 的 可 能 性。而 观 测 值y1,y2,yN的联合概率密度函数 与待估参数的不同的参数值，将有不同的概率密度函数。当 ，得到该观测值y1,y2,yN的可能性最大。也就是说，当观测结果为y1,y2,yN的条件下，是接近于参数真实值的可能性最大的参数估计值。6.1 极大似然法极大似然法(Maximum Likelihood Estimation)1.极大似然原理13对极大似然原理描述如下：对于已有的一组观测数据y1,极大似然法需要构造一个以数据和未知参数为自变量的似然函数，并通过极大化似然函数，获得模型的参数估计值。已知参数的条件下，观测量的概率密度为在N次测量y1,y2,yN后，考虑似然函数：如果不要求的分布密度，只要问的值为多少(最可能的值)，那么就只要求使得：14 极大似然法需要构造一个以数据和未知参数为自变量的似然函在特殊情况下，能够通过方程得到解，但在一般情况下，上式不容易得到解析解，需要采用数值方法来求近似解。考虑到似然函数一般为指数函数，而指数函数和对数函数都是单调的，为了方便求解，上式等价于如下方程：对于确定了的观测值Y而言，似然函数仅仅是参数 的函数。由极大似然原理可知，满足以下方程：15在特殊情况下，能够通过方程得到解，但在一般情况下，上式 其中为高斯白噪声，模型的估计问题可以表示成以下向量问题：下面利用极大似然原理，分析动态系统模型参数的极大似然估计问题。首先分析极大似然估计和最小二乘估计的关系。考虑系统模型为线性差分方程：16 其中为高斯白噪声，模型的估计问题可以表示成1717根据极大似然原理，求上式对未知参数求偏导数且令其为0，可得：由于是均值为零的高斯不相关序列，且与u(k)不相关，于是得到似然函数：对应的负对数似然函数为：18根据极大似然原理，求上式对未知参数求偏导由于是均值为这与最小二乘法的结果相同，这说明当噪声为高斯白噪声时，参数的极大似然估计和最小二乘估计是等价的。进一步，由：在实际问题中，往往不是白噪声序列，而是相关噪声序列。下面讨论残差相关的情况下极大似然估计的求解。19这与最小二乘法的结果相同，这说明当噪声为高斯在实际问题中，考虑模型为如下形式：2.2.数值解法数值解法上式可以改写为：20考虑模型为如下形式：2.数值解法上式可以改写为：20令：在独立观测的前提下，得到输入输出数据y(k)和u(k)，测量N次，得到N值白噪声向量为：噪声的协方差阵为：向量形式的方程组可以写为：21令：在独立观测的前提下，得到输入输出数据y(k)和噪声的当 是某个估计值时，把改写为v(k)，则得到似然函数，并求对数得到：此时的联合概率密度为：其中：22当 是某个估计值时，把改写为v(k)，则得到此时的联合进一步得到：根据极大似然原理，对数似然函数取极值，等价于：式中v(k)满足约束条件。23进一步得到：根据极大似然原理，对数似然函数取极值，等价于：式综合以上分析，极大似然估计就是使得因为是参数c1,c2cn的非线性函数，只能通过迭代法求解这里介绍Newton-Raphson法。(1)选定初始值。对于 中的参数a1,a2an，b0,b1bn，可按模型：用最小二乘法求得，对于 中的c0,c1cn可以先假定一些值。24综合以上分析，极大似然估计就是使得因为是参数c1,c2(2)计算预测误差(3)计算J的梯度和Hessian矩阵其中：25(2)计算预测误差(3)计算J的梯度和Hessia再由向量对参数向量求偏导数，得到可以看出上面三个等式为差分方程，这些差分方程的初始条件为0，可以求解这些差分方程，分别求出v(k)关于的全部偏导数。因为v(k)是个小量，可以忽略。26再由向量对参数向量求偏导数，得到可以看出上面三个(5)重复(2)至(4)的计算步骤，迭代求新的参数估计值，直至v(k)方差的相对误差小于某个正小数，所得到的参数估计值就是极大似然估计值。(4)按照Newton-Raphson法计算：27(5)重复(2)至(4)的计算步骤，迭代求新的参数估(令，则模型式的参数的极大似然估计为：为了进行在线辩识，需要给出递推的极大似然估计算法，即每观测一次数据就递推计算一次参数估计值的算法。设系统的模型为：3.递推的极大似然估计28令，则模型式的参数的极大似然估计为其中表示为Taylor展开的余项。非线性函数f(x)在x0处的Taylor展开表示为：为推导递推公式，记v(n+k)=vk。如果vk在 点上 进行Taylor展开，则可以近似表示为：29其中表示为Taylor展开的余项。非线性函数f(x)在x式中，是的滤波值，满足等式:设：30式中，是的滤波值，满足等式:设：30向量 记作进一步得到：其中：31向量 记作进一步得到：其中：31设 是k-1时刻的极大似然估计值，那么 在 点上进行Taylor展开，并考虑到在点上关于的一阶导数近似为零，则有：其中是正定对称阵。是Taylor展开时的残差项。由于 是参数的非线性函数，为了得到极大似然估计的递推形式，先将 写成递推的形式：32设 是k-1时刻的极大似然估计值，那么 在其中记，并将上式配成二次型 令 ，可以得到33记，并将上式配成二次型 令 增益矩阵的递推公式为：如果取，得到 的最小值。同时类似于最小二乘法的推导，利用矩阵求逆引理，得到：34增益矩阵的递推公式为：如果取，得到 将递推的极大似然估计算法(RML)归纳为：35将递推的极大似然估计算法(RML)归纳为：35 应用极大似然估计法时，要求事先知道观测量的概率分布。在一些典型问题的讨论中，往往假设观测量的概率分布是正态的。然而，这种假设并不总是合理的。在极大似然法中关于概率分布的正态假设仅仅用来得出参数估计的准则函数，而这种准则函数，反映的是预报误差 的平方和。对于条件均值 ，可以认为是根据第k-1次以及以前的全部观测数据所得到的对y(k)的预报值。因此，我们确定预报误差与观测数据以及与未知参数之间的关系，即设定一个预报模型，就可以得到一种最小二乘预报估计误差。6.1 预报误差法预报误差法1.预报误差模型36 应用极大似然估计法时，要求事先知道观测量的概率分布其中y(k)表示在时刻k系统的输出观测值，为m维的向量；Y(k-1)表示输出观测值的历史数据的集合y(k-1),y(k-2).；U(k)表示时刻k以及以前的控制变量值的集合u(k),u(k-1).；是系统的参数向量；v(k)是具有零均值和协方差矩阵为的新息序列。设定一个预报模型，也就是通过历史数据Y(k-1)和参数等给出时刻k的输出观测量y(k)的预报值的一种模型。于是给定了观测量y(k)，就能按照使预报误差的平方和最小的方法来估计参数。预报误差模型为：37其中y(k)表示在时刻k系统的输出观测值，为m维的向 对于给定的观测数据集合，如果所拟合的模型能使得预报误差为最小，那么这样的模型可以认为是一个拟合的好的模型。对于特定参数值，将在时刻t的预报误差表示对于给定的观测数据的集合y(k),u(k)，可以设法寻找出一类模型与这些数据相拟合，设该类模型用预报误差模型表示：在N次观测下，预报误差的样本协方差为：38对于给定的观测数据集合，如果所拟合的模型能使对于特定参数通过使得J1或J2这样的标量函数最小，就可以求出参数的最优估计值。这种估计方法称为参数估计的预报误差法。因此，判别模型拟合优良程度的准则就应当是预报误差的一个函数。一般采用预报误差的样本协方差 的某个正的标量函数作为估计的准则，常用的标量准则函数有：39通过使得J1或J2这样的标量函数最小，就可以求出参数的最