现代谱估计课件

第二章第二章 现代谱估计现代谱估计 现代谱估计概述现代谱估计概述 ARAR模型谱估计模型谱估计 线性预测线性预测 BurgBurg算法算法 ARMAARMA模型谱估计模型谱估计 扩展扩展PronyProny方法方法 多重信号分类多重信号分类(MUSIC)(MUSIC)法法1第二章 现代谱估计现代谱估计概述1 第二章第二章 现现 代代 谱谱 估估 计计2.1现代谱估计概述现代谱估计概述1.经典谱估计的主要问题经典谱估计的主要问题2.基于信号参数模型的谱估计方法基于信号参数模型的谱估计方法22.1现代谱估计概述经典谱估计的主要问题2 第二章第二章 现现 代代 谱谱 估估 计计经典谱估计：经典谱估计：分辨率低（受窗函数长度的限制）分辨率低（受窗函数长度的限制）;方差性能不好；方差性能不好；方差和分辨率之间的矛盾。方差和分辨率之间的矛盾。对平稳信号建模对平稳信号建模:用于功率谱估计用于功率谱估计:提高分辨率，减小方差；提高分辨率，减小方差；也可用于信号的特征提取，预测，编码及也可用于信号的特征提取，预测，编码及 数据压缩数据压缩 等。等。3经典谱估计：对平稳信号建模:3 第二章第二章 现现 代代 谱谱 估估 计计2.1现代谱估计概述现代谱估计概述 在在第第一一章章中中介介绍绍了了用用参参数数模模型型来来描描述述随随机机信信号号的的方方法法，如如果果能能确确定定信信号号x(n)的的信信号号模模型型，根根据据信信号号观观测测数数据据求求出出模模型型参参数数，系系统统函函数数用用H(z)表表示示，模模型型输输入白噪声方差为入白噪声方差为w2，信号的功率谱用下式求出：，信号的功率谱用下式求出：按照这种思路，功率谱估计可分成三个步骤：按照这种思路，功率谱估计可分成三个步骤：（1 1）选择合适的信号模型；）选择合适的信号模型；（2 2）根根据据x(n)有有限限的的观观测测数数据据，或或者者它它的的有有限限个自相关函数估计值，估计模型的参数个自相关函数估计值，估计模型的参数;（3 3）计算模型输出功率谱。）计算模型输出功率谱。42.1现代谱估计概述 在第一章中介绍了用参数模型来 第二章第二章 现现 代代 谱谱 估估 计计参数模型与模型谱参数模型与模型谱信号测量数据信号测量数据1 1、基本思路、基本思路 模型（参数）模型（参数）（MA,AR,ARMAMA,AR,ARMA）确定确定随机随机 w(n)S(n)u(n)逼近逼近即：信号的当前值是由其过去的值和输入信号现在即：信号的当前值是由其过去的值和输入信号现在与过去的值按照模型参数线性加权组合得到。与过去的值按照模型参数线性加权组合得到。5参数模型与模型谱信号测量数据1、基本思路 模型（参数）（第二章第二章 现现 代代 谱谱 估估 计计2.自回归滑动平均模型自回归滑动平均模型(ARMA(p,q)）（Pole-zero model）X(n)X(n)的功率谱的功率谱62.自回归滑动平均模型(ARMA(p,q)）（第二章第二章 现现 代代 谱谱 估估 计计推导：推导：于是：于是：7推导：于是：7 第二章第二章 现现 代代 谱谱 估估 计计3.3.滑动平均模型滑动平均模型 MA(q)MA(q)（All zero model）83.滑动平均模型 MA(q)（All zero m 第二章第二章 现现 代代 谱谱 估估 计计4.自回归模型自回归模型（All poles model）94.自回归模型（All poles model）9 第二章第二章 现现 代代 谱谱 估估 计计5.模型参数模型参数 Model Parameters:105.模型参数 Model Parameters:10 第二章第二章 现现 代代 谱谱 估估 计计 已知有限长数据 或有限长的相关函数 ，估计 的步骤为：建立参数模型 (MA,AR,ARMA,阶次p,q)由 或 估计 的参数(解法)参数估计 由 的参数估计【注】估计ARMA或MA的参数一般需解一组非 线性方程组，估计AR模型参数通常只需 解一组线性方程组。6.参数估计与谱估计116.参数估计与谱估计11 第二章第二章 现现 代代 谱谱 估估 计计例例.(白噪声中的白噪声中的AR过程过程)12例.(白噪声中的AR过程)12 第二章第二章 现现 代代 谱谱 估估 计计故故即：白噪声中的即：白噪声中的AR(P)过程是一个过程是一个ARMA(p,q)过程，过程，其激励噪声是白的，方差为其激励噪声是白的，方差为其中：其中：13故即：白噪声中的AR(P)过程是一个ARMA(p,q)过程，第二章第二章 现现 代代 谱谱 估估 计计2.2 AR模型谱估计模型谱估计AR模型的正则方程模型的正则方程Levinson-Durbin算法算法AR谱估计的自相关法谱估计的自相关法AR模型阶次的选择模型阶次的选择AR模型谱估计的性质模型谱估计的性质142.2 AR模型谱估计AR模型的正则方程14 第二章第二章 现现 代代 谱谱 估估 计计一、一、AR模型的正则方程模型的正则方程AR模型：模型：差分方程：差分方程：15一、AR模型的正则方程AR模型：差分方程：15 第二章第二章 现现 代代 谱谱 估估 计计目标：找到已知参数和未知参数的关系，目标：找到已知参数和未知参数的关系，以便求解未知参数：以便求解未知参数：已知参数：求解方法：由下面的差分方程入手：两边同乘 ，求均值未知参数：=+-=pkknuknxanx1)()()(16目标：找到已知参数和未知参数的关系，以便求解未知参数 第二章第二章 现现 代代 谱谱 估估 计计一、一、ARAR模型的正则方程模型的正则方程假定假定 、都是实平稳的随机信号，都是实平稳的随机信号，为白为白噪声，方差为噪声，方差为 ，为服从为服从AR过程的因果信号。过程的因果信号。由由ARAR模型的差分方程，有模型的差分方程，有将上式两边同乘以将上式两边同乘以 ，并求均值，得，并求均值，得 17一、AR模型的正则方程假定 、都是实平稳 第二章第二章 现现 代代 谱谱 估估 计计一、一、ARAR模型的正则方程模型的正则方程(a)式中，式中，为为AR模型的单位取样响应。由模型的单位取样响应。由z变换变换的性质的性质 ，当当 时，有时，有 。将之代入上式，有将之代入上式，有(b)18一、AR模型的正则方程(a)18 第二章第二章 现现 代代 谱谱 估估 计计一、一、ARAR模型的正则方程模型的正则方程综合式综合式(a)与式与式(b)，有，有 在上述推导中，应用了实信号自相关函数的偶对在上述推导中，应用了实信号自相关函数的偶对称性，即称性，即 。由上式可得。由上式可得 个方个方程，写成矩阵形式为程，写成矩阵形式为19一、AR模型的正则方程综合式(a)与式(b)，有 19 第二章第二章 现现 代代 谱谱 估估 计计一、一、ARAR模型的正则方程模型的正则方程上述两式即为上述两式即为AR模型的正则方程，又称模型的正则方程，又称Yule-Walker方程。方程。或或20一、AR模型的正则方程或20 第二章第二章 现现 代代 谱谱 估估 计计上式不考虑对称性表示为如下形式上式不考虑对称性表示为如下形式可简单的表示为其中，是 阶AR模型的系数向量，是 维全零列向量，定义为(6)21上式不考虑对称性表示为如下形式可简单的表示为其中，是 阶A 第二章第二章 现现 代代 谱谱 估估 计计AR模型的正则方程也可表示为22AR模型的正则方程也可表示为22 第二章第二章 现现 代代 谱谱 估估 计计式(8)简单地表示为其中，因矩阵 是非奇异的，有将 代入式(7)中即得到 。23式(8)简单地表示为其中，因矩阵 是非奇异的，有将 代入式 第二章第二章 现现 代代 谱谱 估估 计计例例 已知 满足实 模型，即满足如下差分方程其中，是均值为零，方差为 的白噪声。模型阶数 ，得到二阶的Yule-Walker方程 取AR24例 已知 满足实 模型，即满足如下差分方程其中，是均值为 第二章第二章 现现 代代 谱谱 估估 计计所以，可以解得同样可以用 和 来表示 和 ，即25所以，可以解得同样可以用 和 来表示 和，即25 第二章第二章 现现 代代 谱谱 估估 计计2626 第二章第二章 现现 代代 谱谱 估估 计计一、一、ARAR模型的正则方程模型的正则方程需要指出的是，上式中的自相关矩阵为需要指出的是，上式中的自相关矩阵为Toeplitz矩阵；若矩阵；若 是复过程，那么是复过程，那么 ，则，则其自相关矩阵是其自相关矩阵是Hermitian对称的对称的Toeplitz矩阵。矩阵。这类矩阵具有一系列好的性质，利用这些性质，这类矩阵具有一系列好的性质，利用这些性质，可以找到快速求解可以找到快速求解AR模型参数的高效算法。模型参数的高效算法。若若 取估计取估计 则则27一、AR模型的正则方程需要指出的是，上式中的自相关矩阵为To 第二章第二章 现现 代代 谱谱 估估 计计二、二、Levinson-Durbin算法算法 Levinson-Durbin递推算法是求解递推算法是求解Yule-Walker方程方程的快速有效算法，这种算法利用了方程组系数矩阵的快速有效算法，这种算法利用了方程组系数矩阵（自相关矩阵）所具有的一系列好的性，使运算量（自相关矩阵）所具有的一系列好的性，使运算量大大减少。其推导的方法有多种，这里只介绍一种大大减少。其推导的方法有多种，这里只介绍一种较为简便的推导方法。较为简便的推导方法。在实际应用中，为避免矩阵求逆运算，降低计算量，在实际应用中，为避免矩阵求逆运算，降低计算量，通常并不直接求解正则方程，而是根据自相关矩阵通常并不直接求解正则方程，而是根据自相关矩阵的的的的ToeplitzToeplitz性质，利用性质，利用性质，利用性质，利用 Levinson-Durbin Levinson-Durbin迭代算法进迭代算法进迭代算法进迭代算法进行求解。行求解。行求解。行求解。28二、Levinson-Durbin算法 Levinson 第二章第二章 现现 代代 谱谱 估估 计计二、二、Levinson-Durbin算法算法定义 为的第 个系数；为 阶AR模型输入白噪声的方差；阶AR模型思路：利用Toeplitz 矩阵特点，由低阶 高阶反射系数29二、Levinson-Durbin算法定义 为的第 个系数；第二章第二章 现现 代代 谱谱 估估 计计二、二、Levinson-Durbin算法算法计算 阶AR模型的参数，由(6)得 对于 ，若已知 阶AR模型的参数 和 容易解得，模型的正则方程为30二、Levinson-Durbin算法计算 阶AR模型的参数 第二章第二章 现现 代代 谱谱 估估 计计二、二、Levinson-Durbin算法算法(a)的参数的参数 ，要求解的，要求解的m阶阶Yule-Walker方程为方程为31二、Levinson-Durbin算法(a)的参数 第二章第二章 现现 代代 谱谱 估估 计计二、二、Levinson-Durbin算法算法(b)32二、Levinson-Durbin算法32 第二章第二章 现现 代代 谱谱 估估 计计二、二、Levinson-Durbin算法算法(c)为此，将式为此，将式(a)的系数矩阵增加一行和增加一列，的系数矩阵增加一行和增加一列，成为下式：成为下式：33二、Levinson-Durbin算法(c)为此，将式(a)第二章第二章 现现 代代 谱谱 估估 计计二、二、Levinson-Durbin算法算法式中式中利用前述的系数矩阵的特点，将式利用前述的系数矩阵的特点，将式(c)的行倒序，的行倒序，同时列也倒序，得到同时列也倒序，得到34二、Levinson-Durbin算法式中34 第二章第二章 现现 代代 谱谱 估估 计计二、二、Levinson-Durbin算法算法(d)35二、Levinson-Durbin算法35 第二章第二章 现现 代代 谱谱 估估 计计二、二、Levinson-Durbin算法算法将待求解的将待求解的m阶阶Yule-Walker方程表示成式方程表示成式(c)和和式式(d)的线性组合形式，即的线性组合形式，即(e)36二、Levinson-Durbin算法将待求解的m阶Yule 第二章第二章 现现 代代 谱谱 估估 计计二、二、Levinson-Durbin算法算法或或式中，式中，是待定系数，称为反射系数。式是待定系数，称为反射系数。式(e)两两边各右乘以边各右乘以m阶系数矩阵，得到阶系数矩阵，得到(f)37二、Levinson-Durbin算法或37 第二章第二章 现现 代代 谱谱 估估 计计二、二、Levinson-Durbin算法算法由式由式(f)可求出可求出由式由式(c)的第一个方程可求出的第一个方程可求出从上面的推导中可归纳出由从上面的推导中可归纳出由m-1阶模型参数求阶模型参数求m阶模型参数的计算公式如下：阶模型参数的计算公式如下：38二、Levinson-Durbin算法由式(f)可求出38 第二章第二章 现现 代代 谱谱 估估 计计二、二、Levinson-Durbin算法算法对于对于AR(p)模型，递推计算直到模型，递推计算直到p阶为止。阶为止。39二、Levinson-Durbin算法39 第二章第二章 现现 代代 谱谱 估估 计计三、三、AR谱估计的自相关法谱估计的自相关法已知已知N点观测数据点观测数据 和和AR的阶的阶数数p，则则AR谱估计可按下述步骤来进行：谱估计可按下述步骤来进行：由已知的由已知的 估计估计令令 40三、AR谱估计的自相关法已知N点观测数据 第二章第二章 现现 代代 谱谱 估估 计计三、三、AR谱估计的自相关法谱估计的自相关法用用 代替代替L-D递推算法式中的递推算法式中的 ，对，对于于 ，重新求解，重新求解Yule-Walker方程，方程，这时求出的这时求出的AR模型参数是真实参数的估计值，模型参数是真实参数的估计值，即即 和和将这些参数代入下式，得到将这些参数代入下式，得到 的功率谱的的功率谱的估计，即估计，即41三、AR谱估计的自相关法用 代替L-D递推算 第二章第二章 现现 代代 谱谱 估估 计计三、三、AR谱估计的自相关法谱估计的自相关法若在若在（0，2）内对内对 进行进行N点均匀抽样，则得点均匀抽样，则得到离散谱到离散谱式中，式中，。离散谱，用FFT计算42三、AR谱估计的自相关法若在（0，2）内对 进行N点均 第二章第二章 现现 代代 谱谱 估估 计计Levinson-Durbin算法流程图算法流程图43Levinson-Durbin算法流程图43 第二章第二章 现现 代代 谱谱 估估 计计三、三、AR模型阶次的选择模型阶次的选择1.FPE准则（最终预测误差准则）准则（最终预测误差准则）2.随着随着m的增加，使的增加，使 达到最小值时的达到最小值时的 。2.AIC准则（信息论准则）准则（信息论准则）3.前者表征前者表征 将随着将随着m的增加而单调下降，后者的增加而单调下降，后者4.表示计算误差将随着表示计算误差将随着m的增加而增长。的增加而增长。44三、AR模型阶次的选择FPE准则（最终预测误差准则）44 第二章第二章 现现 代代 谱谱 估估 计计五、五、AR模型谱估计的性质模型谱估计的性质 AR模型估计出的功率谱具有一系列好的性质，现分别讨论如下：1.平滑特性平滑特性AR模型是一有理分式，估计出的谱平滑，不需要像周期图那样再做平滑或平均，因此，不需要为此去牺牲分辨率。45五、AR模型谱估计的性质 AR模型估计出的功率谱具有一系列好 第二章第二章 现现 代代 谱谱 估估 计计五、五、AR模型谱估计的性质模型谱估计的性质 2 AR模型功率谱的分辨率模型功率谱的分辨率BT法的功率谱 的分辨率是随着信号长度N 的增加而提高的。而AR模型法避免了窗函数的影响，因此它可得到高的谱分辨率，同时它所得出的功率谱估计 与真实的功率谱 偏差很小。偏差很小。AR谱估计的频率分辨率，要优于经典谱估计方法。谱估计的频率分辨率，要优于经典谱估计方法。其原因在于求解其原因在于求解AR模型参数的过程，实际上意味模型参数的过程，实际上意味着将根据着将根据 估计的估计的 按一定准则进行了外推。按一定准则进行了外推。46五、AR模型谱估计的性质 2 AR模型功率谱的分辨率B 第二章第二章 现现 代代 谱谱 估估 计计2.AR谱的分辨率经典谱估计：经典谱估计：假定：分辨率反比于 N，即对间接法：分辨率还要降低472.AR谱的分辨率经典谱估计：假定：分辨率反比于 N，即 第二章第二章 现现 代代 谱谱 估估 计计AR模型包含了对 的“预测”或“外推”。实际上，这包含着自相关函数的“外推”。令：AR谱AR谱对应的自相关函数可以证明：AR模型自相关函数匹配性质48AR模型包含了对 的“预测”或“外推”。实 第二章第二章 现现 代代 谱谱 估估 计计五、五、AR模型谱估计的性质模型谱估计的性质3 AR模型的稳定性模型的稳定性AR模型稳定的充分必要条件是 的极点 必须在单位圆内，而且这一条件也是保证了 是一 个广义平稳过程。4 AR谱估计与最大熵谱估计的等效性谱估计与最大熵谱估计的等效性 对于高斯随机信号，最大熵谱估计和AR模型谱估计是等效的。49五、AR模型谱估计的性质3 AR模型的稳定性AR模型稳定的 第二章第二章 现现 代代 谱谱 估估 计计五、五、AR模型谱估计的性质模型谱估计的性质5 AR模型谱估计方法的不足模型谱估计方法的不足 在实际应用时，发现AR模型在谱估计中存在一些缺 点。有些缺点和模型本身有关，有些则和采用的求解模型参数的方法有关。AR谱估计的分辨率受到加性观测噪声的影响。求AR模型时所使用信号的信噪比越低，AR谱的分辨率越差。越差。如果待估计信号是含有噪声的正弦信号，谱峰的位 50五、AR模型谱估计的性质5 AR模型谱估计方法的不足 在实 第二章第二章 现现 代代 谱谱 估估 计计置易受初相位的影响，且在有的算法中还可能出现“谱线分裂（spectral line splitting）”的现象。通过算法的改进和其它一些措施可以较好的克服这些缺点。谱估计的质量受到阶次p的影响。阶次太低，谱太平滑，反映不出谱峰。阶次选得过大可能会产生虚假的谱峰。51置易受初相位的影响，且在有的算法中还可能出现“谱线分裂（s 第二章第二章 现现 代代 谱谱 估估 计计2.32.3 线性预测线性预测前向线性预测前向线性预测后向线性预测后向线性预测格形滤波器格形滤波器522.3 线性预测前向线性预测52 第二章第二章 现现 代代 谱谱 估估 计计一、前向线性预测一、前向线性预测 已知已知n时刻以前的时刻以前的m个信号数据个信号数据 ，用这，用这m个数据来线性预测个数据来线性预测n时刻信号时刻信号 的值，如图所示，预测值为的值，如图所示，预测值为式中，上标式中，上标f表示前向预测。表示前向预测。53一、前向线性预测 已知n时刻以前的m个信号数据 第二章第二章 现现 代代 谱谱 估估 计计一、前向线性预测一、前向线性预测其预测误差为其预测误差为 (a)称此预测器为称此预测器为mm阶前向线性预测器。阶前向线性预测器。令令 ，由此解得，由此解得 将式将式(a)代入上式，得代入上式，得 54一、前向线性预测其预测误差为 54 第二章第二章 现现 代代 谱谱 估估 计计一、前向线性预测一、前向线性预测 (b)由最小均方误差的表达式及正交性原理可知由最小均方误差的表达式及正交性原理可知 (c)联立式联立式(b)与式与式(c)得得 55一、前向线性预测 (b)55 第二章第二章 现现 代代 谱谱 估估 计计一、前向线性预测一、前向线性预测 (d)前向线性预测的前向线性预测的Wiener-Hopf方程方程 解此方程则得解此方程则得m阶线性预测器的最佳参数阶线性预测器的最佳参数 及及 。56一、前向线性预测56 第二章第二章 现现 代代 谱谱 估估 计计一、前向线性预测一、前向线性预测上式与上式与AR模型参数的正则方程式极其相似，若模型参数的正则方程式极其相似，若令令 ，则有，则有 ，成立。这说成立。这说明，对于同一个明，对于同一个p阶的阶的AR随机信号随机信号 ，其，其AR模模型和同阶的最佳线性预测器模型是等价的。所以型和同阶的最佳线性预测器模型是等价的。所以有有 (f)即即p阶线性预测器的输出是一个白噪声序列。阶线性预测器的输出是一个白噪声序列。57一、前向线性预测上式与AR模型参数的正则方程式极其相似，若5 第二章第二章 现现 代代 谱谱 估估 计计 应等于应等于AR模型激励白噪声的功率模型激励白噪声的功率 。由由LP的含意，因此的含意，因此AR模型也可以看作是在模型也可以看作是在 最小平方意义上对数据的拟合；最小平方意义上对数据的拟合；上面等效的含意是：上面等效的含意是：由于由于LP包含了对数据的外推，因此，对应的包含了对数据的外推，因此，对应的 谱估计所用数据的范围比实际的应有扩展，谱估计所用数据的范围比实际的应有扩展，因此可以提高分辨率。因此可以提高分辨率。线性预测器的误差序列等效于激励线性预测器的误差序列等效于激励AR模型模型 的白噪声序列；的白噪声序列；58 应等于AR模型激励白噪声的功率 第二章第二章 现现 代代 谱谱 估估 计计一、前向线性预测一、前向线性预测结论结论：对于给定的随机信号对于给定的随机信号 ，若其最佳前向，若其最佳前向线性预测器的阶次等于线性预测器的阶次等于 的的AR模型阶次时，其模型阶次时，其前向线性预测误差为白噪声序列。所以阶次等于前向线性预测误差为白噪声序列。所以阶次等于AR模型阶次的最佳前向预测误差滤波器实际上模型阶次的最佳前向预测误差滤波器实际上是是AR模型的逆系统，即白化滤波器。模型的逆系统，即白化滤波器。59一、前向线性预测结论：对于给定的随机信号 ，若其最 第二章第二章 现现 代代 谱谱 估估 计计AR模型白化滤波器线性预测器60AR模型白化滤波器线性预测器60 第二章第二章 现现 代代 谱谱 估估 计计二、后向线性预测二、后向线性预测与前向线性预测对应的还有后向线性预测器。即与前向线性预测对应的还有后向线性预测器。即由由n时刻以后的时刻以后的p个数据个数据来预测来预测 ，即，即 式中，上标式中，上标b代表后向预测。在实际工作中，总代表后向预测。在实际工作中，总是用同一组数据来同时实现前向和后向预测，是用同一组数据来同时实现前向和后向预测，这样上式可改写为这样上式可改写为 61二、后向线性预测与前向线性预测对应的还有后向线性预测器。即6 第二章第二章 现现 代代 谱谱 估估 计计二、后向线性预测二、后向线性预测预测误差预测误差但习惯上常将写成，即但习惯上常将写成，即仿照前向预测器的推导方法，同样可导出下列公仿照前向预测器的推导方法，同样可导出下列公式：式：最佳均方误差最佳均方误差及及 62二、后向线性预测预测误差62 第二章第二章 现现 代代 谱谱 估估 计计上述的关系还是集总平均。对实际的信号：单个样本有限长，求均值要简化，对取代 的范围63上述的关系还是集总平均。对实际的信号：单个样本有限长，求均值 第二章第二章 现现 代代 谱谱 估估 计计6464 第二章第二章 现现 代代 谱谱 估估 计计N点数据，前向预测误差序列范围点数据，前向预测误差序列范围65N点数据，前向预测误差序列范围65 第二章第二章 现现 代代 谱谱 估估 计计6666 第二章第二章 现现 代代 谱谱 估估 计计上三角+中间块+下三角：上、下加窗；中间块：上、下不加窗；中间块+上三角：下不加窗、上加窗；中间块+下三角：上不加窗、下加窗；67上三角+中间块+下三角：上、下加窗；中间块：上、下不加窗；中 第二章第二章 现现 代代 谱谱 估估 计计二、后向线性预测二、后向线性预测对于实序列有对于实序列有 及及若若 为复数序列，则为复数序列，则 68二、后向线性预测对于实序列有 第二章第二章 现现 代代 谱谱 估估 计计三、格形滤波器三、格形滤波器对于对于p阶的前、后向预测误差，有如下递推公式阶的前、后向预测误差，有如下递推公式成立成立式中，式中，称为反射系数，称为反射系数，。且。且 69三、格形滤波器对于p阶的前、后向预测误差，有如下递推公式69 第二章第二章 现现 代代 谱谱 估估 计计1.格形滤波器结构格形滤波器结构701.格形滤波器结构70 第二章第二章 现现 代代 谱谱 估估 计计2.格型滤波器的性质格型滤波器的性质（1）各阶后向预测误差相互正交。各阶后向预测误差相互正交。用公式用公式表示如下：表示如下：各阶后向预测误差相互正交的结果，使滤波器前后各阶后向预测误差相互正交的结果，使滤波器前后级互相解耦，对于系统最小化问题化为一系列独立级互相解耦，对于系统最小化问题化为一系列独立的对每一级局部最小化问题。用作自适应滤波时，的对每一级局部最小化问题。用作自适应滤波时，各级可选用不同的自适应步长，使收敛速度提高。各级可选用不同的自适应步长，使收敛速度提高。另外，为提高线性预测性能，需要增加一节或几节，另外，为提高线性预测性能，需要增加一节或几节，可以只对新增加的级进行独立的调节，达到输出均可以只对新增加的级进行独立的调节，达到输出均方误差最小，无需再调节前面的系数。方误差最小，无需再调节前面的系数。712.格型滤波器的性质（1）各阶后向预测误差相互正交。用公式 第二章第二章 现现 代代 谱谱 估估 计计2.格型滤波器的性质格型滤波器的性质 (2)平平稳随随机机序序列列可可由由自自相相关关函函数数或或反反射射系系数数表表征征。按按照照Levinson-Durbin递推推公公式式，已已知知rxx(0)，k1，k2，kp，从从一一阶开开始始，可可以以推推出出全全部部的的预测系系数数ap,1，ap,2，ap,p和和2p，把把得得到到的的这些些数数据据代代入入Yule-walker方方程程，可可求求得得信信号号的的自自相相关关函函数数rxx(0)，rxx(1)，rxx(2)，rxx(p)。以以上上说明明平平稳随随机机序序列列可可由由自自相相关关函函数数表表征征，也也可可由由rxx(0)，k1，k2，kp表表征。征。(3)前向前向预测误差差滤波器是最小相位波器是最小相位滤波器，即它波器，即它的全部零点在的全部零点在单位位圆内。内。722.格型滤波器的性质 (2)平稳随机序列可由自相关函 第二章第二章 现现 代代 谱谱 估估 计计2.4 Burg算法算法Burg算法的基本概念算法的基本概念Burg算法存在的问题算法存在的问题改进的协方差算法改进的协方差算法732.4 Burg算法Burg算法的基本概念73 第二章第二章 现现 代代 谱谱 估估 计计一、一、BurgBurg算法的基本概念算法的基本概念1.基本思想基本思想2.自相关法进行自相关法进行AR谱估计时，是遵循以谱估计时，是遵循以下思路进行的：下思路进行的：由观测的信号数据由观测的信号数据 先估计自相关函数先估计自相关函数 。根据估计的自相关函数，利用根据估计的自相关函数，利用Levinson-DurbinLevinson-Durbin递推算法求解模型参数递推算法求解模型参数 、。由得出的由得出的ARAR模型参数计算信号的功率谱模型参数计算信号的功率谱 。74一、Burg算法的基本概念基本思想74 第二章第二章 现现 代代 谱谱 估估 计计一、一、BurgBurg算法的基本概念算法的基本概念1967年提出的年提出的Burg算法在一定程度上改善了这种状算法在一定程度上改善了这种状况。它所遵循的计算思路是：况。它所遵循的计算思路是：由观测的信号数据由观测的信号数据 先估计反射系数先估计反射系数 。根据估计出的反射系数，利用根据估计出的反射系数，利用Levinson-Durbin算算法递推出法递推出ARAR模型参数模型参数 、。由得出的由得出的ARAR模型参数计算信号的功率谱模型参数计算信号的功率谱 。75一、Burg算法的基本概念1967年提出的Burg算法在一定 第二章第二章 现现 代代 谱谱 估估 计计一、一、BurgBurg算法的基本概念算法的基本概念由于在计算中避开了估计自相关函数由于在计算中避开了估计自相关函数 ，而，而直接从输入数据计算直接从输入数据计算AR模型参数模型参数 所以减小了计算误差，从而改善了所以减小了计算误差，从而改善了的频率分辨率。的频率分辨率。Burg算法的另一特点是：使用前向、后向预测算法的另一特点是：使用前向、后向预测误差平方和最小的原则来估计误差平方和最小的原则来估计 ，而不是象自相，而不是象自相关法那样只按前向预测误差关法那样只按前向预测误差 的方差最小的原的方差最小的原则导出其正则方程。则导出其正则方程。76一、Burg算法的基本概念由于在计算中避开了估计自相关函数 第二章第二章 现现 代代 谱谱 估估 计计2.BurgBurg算法的算法的推导推导2.算法推导算法推导3.令令 应满足应满足4.在上式中代入格形滤波器公式，可得在上式中代入格形滤波器公式，可得式1772.Burg算法的推导算法推导式177 第二章第二章 现现 代代 谱谱 估估 计计2.BurgBurg算法的算法的推导推导估计出后估计出后 ，阶次，阶次m时的时的AR模型参数系数仍然模型参数系数仍然由由Levinson-Durbin算法递推求出，即有算法递推求出，即有 式式(3)式式(4)式式(5)782.Burg算法的推导估计出后 ，阶次m时的AR模型参 第二章第二章 现现 代代 谱谱 估估 计计3.BurgBurg算法的算法的计算步骤计算步骤3.计算步骤计算步骤由初始条件由初始条件 ，再由式，再由式1求出求出 ；由由 得得 时的参数时的参数 由由 及式及式2求出求出 和和 ，再由式，再由式1 估计估计 ；依照依照式式(3)式式(5)，求，求 出时的参数出时的参数 、及及 ；重复上述过程，直到重复上述过程，直到 ，求出所有阶次时的，求出所有阶次时的AR参数。参数。793.Burg算法的计算步骤计算步骤79 第二章第二章 现现 代代 谱谱 估估 计计3.BurgBurg算法的算法的计算步骤计算步骤若定义式若定义式(1)的分母为的分母为那么可以证明，那么可以证明，可以由可以由 和和 递推递推计算，即计算，即这样，可以有效地提高计算速度。这样，可以有效地提高计算速度。BurgBurgBurgBurg算法的优点：算法的优点：算法的优点：算法的优点：频率分辨率高；所得的频率分辨率高；所得的频率分辨率高；所得的频率分辨率高；所得的ARARARAR模型稳模型稳模型稳模型稳定；计算效率高。定；计算效率高。定；计算效率高。定；计算效率高。803.Burg算法的计算步骤若定义式(1)的分母为Burg算法 第二章第二章 现现 代代 谱谱 估估 计计BurgBurg算法流程算法流程81Burg算法流程81 第二章第二章 现现 代代 谱谱 估估 计计二、二、BurgBurg算法存在的问题算法存在的问题 Burg算法由于避免了直接计算自相关函数，所算法由于避免了直接计算自相关函数，所以估计误差、频率分辨率要高于自相关法。但由以估计误差、频率分辨率要高于自相关法。但由于它仍然用于它仍然用Levinson-Durbin算法来求算法来求AR模型参模型参数，因此，仍存在谱峰分裂与偏移问题。数，因此，仍存在谱峰分裂与偏移问题。当使用单频正弦信号（周期为当使用单频正弦信号（周期为T）加白噪声加白噪声 作试验数据时，有如下规律：作试验数据时，有如下规律：信噪比高时容易发生。由于此时谱峰突出，信噪比高时容易发生。由于此时谱峰突出，因此因此 已不再是已不再是AR过程，而过程，而是退化的是退化的ARMA过程。过程。82二、Burg算法存在的问题 Burg算法由于避免了直接 第二章第二章 现现 代代 谱谱 估估 计计二、二、BurgBurg算法存在的问题算法存在的问题当信号长度当信号长度 （为采样周期）时，为采样周期）时，对对任何整数任何整数k，任何，任何 的初始相位，谱峰无分裂。的初始相位，谱峰无分裂。当信号长度当信号长度 ，的初始相位为的初始相位为0或或 时，谱峰无分裂；时，谱峰无分裂；当信号长度当信号长度 ，的初始相位为的初始相位为 的的奇数倍时，谱峰分裂严重；奇数倍时，谱峰分裂严重；N充分大时，分裂现象逐渐减弱。充分大时，分裂现象逐渐减弱。83二、Burg算法存在的问题当信号长度 （第二章第二章 现现 代代 谱谱 估估 计计三、三、协方差法与修正协方差法协方差法与修正协方差法 1.协方差法方差法 这种种方方法法和和自自相相关关法法一一样，仍仍然然利利用用使使预测误差差功功率率最最小小的的方方法法求求模模型型参参数数，但但由由观测数数据据求求预测误差差功功率率的的公公式如下式：式如下式：将将该式式对比比自自相相关关法法中中求求预测误差差功功率率的的公公式式，不不同同的的是是求求和和限限不不同同。该公公式式中中使使用用的的观测数数据据均均已已得得到到，不不需需要要在在数数据据两两端端补充充零零点点，因因此此比比较自自相相关关法法去去掉掉了了加加窗窗处理理的的不不合合理理假假设。为求求得得模模型型参参数数仍仍然然应用用复复梯梯度度法法使使式式达达到最小，公式如下：到最小，公式如下：84三、协方差法与修正协方差法 1.协方差法将该式对比自 第二章第二章 现现 代代 谱谱 估估 计计1、协方差法协方差法式中式中 白噪声的方差为白噪声的方差为 851、协方差法式中 白噪声的方差为 85 第二章第二章 现现 代代 谱谱 估估 计计1、协方差法协方差法 由由观测数数据据x(n)(n=0,1,2,N-1)，利利用用上上面面三三个个公公式式可可以以求求出出模模型型的的参参数数：api(i=1,2,3,p)；2w。按按照照定定义，式式中中的的cxx(j,k)可可以以称称作作协方方差差函函数数，它它有有两两个个变量量，因因此此也也适适合合于于非非平平稳随随机机信信号号。式式中中的的协方方差差矩矩阵是是埃埃尔尔米米特特(Hermitian)矩矩阵，cxx(k,j)=c*xx(j,k)，是是半半正正定定的的。这种种方方法法近近似似于于自自相相关关法法。一一些些实验结果果说明明它它的的分分辨辨率率优于于自自相相关关法法，另另外外对于于纯正正弦弦信信号号数数据据，可可以以有有效效地地估估计正正弦信号的弦信号的频率。率。861、协方差法 由观测数据x(n)(n=0,第二章第二章 现现 代代 谱谱 估估 计计2、改进的协方差算法改进的协方差算法基本思想基本思想：由观测的数据：由观测的数据 直接估计直接估计 ，而不需要估计，而不需要估计 ，从而无需使用，从而无需使用Levinson-Durbin算法。具体说来，其思路是首算法。具体说来，其思路是首先定义：先定义：然后，令然后，令也就是说，在令也就是说，在令 为最小时，不是仅令其相对为最小时，不是仅令其相对 为最小，而是令其相对为最小，而是令其相对都为最小都为最小（m由由1至至p）。）。872、改进的协方差算法基本思想：由观测的数据 第二章第二章 现现 代代 谱谱 估估 计计 3.递推算法：由 求 ，由 递推，还是直接由 递推各算法之间的主要区别：1.的取值范围，即选择那一个？2.仅用前向预测，还是前后向都预测？即 令 最小，还是 最小？88 3.递推算法：由 求 第二章第二章 现现 代代 谱谱 估估 计计 例例 已已知知信信号号的的4个个观观察察数数据据为为x(n)=x(0),x(1),x(2),x(3)=2,4,1,3，分分别别用用自自相相关关法法和和协协方方差差法法估计估计AR(1)模型参数。模型参数。解解:（1）自相关法：自相关法：89 例 已知信号的4个观察数据为x(n)=x(0),第二章第二章 现现 代代 谱谱 估估 计计(2)协方差法协方差法:90(2)协方差法:90 第二章第二章 现现 代代 谱谱 估估 计计2.5 ARMA模型谱估计模型谱估计噪声对噪声对AR模型谱估计的影响模型谱估计的影响MA模型谱估计模型谱估计ARMA模型谱估计模型谱估计912.5 ARMA模型谱估计噪声对AR模型谱估计的影响91 第二章第二章 现现 代代 谱谱 估估 计计一、一、噪声对噪声对AR谱估计的影响谱估计的影响设设 是一个是一个p阶阶AR过程，它被测量噪声过程，它被测量噪声 污污染后成为染后成为 。即。即如果如果 是方差为是方差为 的的白噪声，且与白噪声，且与 不相关，则有不相关，则有92一、噪声对AR谱估计的影响设 是一个p阶AR过程，第二章第二章 现现 代代 谱谱 估估 计计二、二、MA谱估计的计算谱估计的计算(2.5.3)(2.5.4)(2.5.5)由式由式(2.5.3)得得(2.5.6)93二、MA谱估计的计算(2.5.3)93 第二章第二章 现现 代代 谱谱 估估 计计二、二、MA谱估计的计算谱估计的计算将上式两边同乘以将上式两边同乘以 ，并求均值，得，并求均值，得(2.5.7)式中，式中，。94二、MA谱估计的计算将上式两边同乘以 ，并求均值，第二章第二章 现现 代代 谱谱 估估 计计二、二、MA谱估计的计算谱估计的计算将将x(n)样值响应代入样值响应代入 ，并注意到，并注意到 是方差为是方差为 的白噪声，有的白噪声，有 (2.5.8)对对MA(q)模型，由式模型，由式(2.5.4)，得，得95二、MA谱估计的计算将x(n)样值响应代入 第二章第二章 现现 代代 谱谱 估估 计计二、二、MA谱估计的计算谱估计的计算所以，可以求出所以，可以求出MA(q)模型的正则方程，即有模型的正则方程，即有MA(q)的功率谱为的功率谱为 等效于经典谱估计中的自相关法，即等效于经典谱估计中的自相关法，即MA谱估谱估计等效为信号长度为计等效为信号长度为q+1的自相关法谱估计。的自相关法谱估计。96二、MA谱估计的计算所以，可以求出MA(q)模型的正则方程，第二章第二章 现现 代代 谱谱 估估 计计三、三、ARMA模型模型谱估计谱估计ARMA(p,q)模型的差分方程模型的差分方程式中，式中，。类似地，可导出其正则方程如下：。类似地，可导出其正则方程如下：97三、ARMA模型谱估计ARMA(p,q)模型的差分方程97 第二章第二章 现现 代代 谱谱 估估 计计三、三、ARMA模型模型谱估计谱估计式中，式中，是系数是系数 和和 的函数，前的函数，前q+1个方程是个方程是高度非线性的。从第高度非线性的。从第q+1个方程开始是线性的，个方程开始是线性的，可以解出可以解出AR部分的系数，将上式中的第二个方部分的系数，将上式中的第二个方程写成如下展开形式：程写成如下展开形式：(2.5.13)98三、ARMA模型谱估计式中，是系数 和 的 第二章第二章 现现 代代 谱谱 估估 计计三、三、ARMA模型模型谱估计谱估计上式虽然可解出上式虽然可解出AR部分的系数，但存在以下两部分的系数，但存在以下两个问题：个问题：由由于于式式中中的的真真实实自自相相关关函函数数 是是未未知知的的，因因此此只只能能使使用用估估计计值值 来来代代替替，且且要要用用到到大大延延迟迟的的估估计计值值（最最大大延延迟迟是是p+q），而而对对于于给给定定的的信信号号长长度度，这这将将造造成成 估估计计很很不不准准确确。因因而而，也也就就不不能能得得到到AR部部分分系系数数的的准准确估计。确估计。99三、ARMA模型谱估计上式虽然可解出AR部分的系数，但存在以 第二章第二章 现现 代代 谱谱 估估 计计三、三、ARMA模型模型谱估计谱估计式中阶次式中阶次p和和q都是未知的，需要事先指定。都是未知的，需要事先指定。而而p和和q的不正确指定有可能导致式的不正确指定有可能导致式(2.5.13)的系数矩阵奇异。的系数矩阵奇异。因此，在实际应用中，对式因此，在实际应用中，对式(2.5.13)采用更一采用更一般般的形式，即取的形式，即取L个方程，这里个方程，这里 ，即，即式中，式中，100三、ARMA模型谱估计式中阶次p和q都是未知的，需要事先指定 第二章第二章 现现 代代 谱谱 估估 计计三、三、ARMA模型模型谱估计谱估计由此得到由此得到 的最小二乘解为的最小二乘解为 求得求得ARMA(p,q)模型中的模型中的AR参数，余下的任参数，余下的任务就是求解务就是求解MA部分的参数。部分的参数。101三、ARMA模型谱估计101 第二章第二章 现现 代代 谱谱 估估 计计三、三、ARMA模型模型谱估计谱估计利用求得的利用求得的AR系数先得到一个系数先得到一个FIR系统为系统为 序列序列 经此经此FIR系统滤波，得到一个输出序列系统滤波，得到一个输出序列ARMA(p,q)模型与模型与FIR系统系统 级联，近似于模级联，近似于模型型 。102三、ARMA模型谱估计102 第二章第二章 现现 代代 谱谱 估估 计计三、三、ARMA模型模型谱估计谱估计因此，可以利用输出序列因此，可以利用输出序列 估计自相关序列估计自相关序列 并按并按MA(q)模型谱估计公式来得到模型谱估计公式来得到MA谱，即谱，即 得到得到MA谱估计谱估计 后，利用下式即可求得后，利用下式即可求得ARMA谱估计谱估计 103三、ARMA模型谱估计因此，可以利用输出序列 估计 第二章第二章 现现 代代 谱谱 估估 计计2.6最大熵谱估计与最大似然谱估计最大熵谱估计与最大似然谱估计一、一、最大熵谱估计最大熵谱估计 1.1.利用最大熵的原则外推自相关函数利用最大熵的原则外推自相关函数 按照按照Shannon对熵的定义，对熵的定义，当随机变量当随机变量X取离散取离散值时，熵的定义为值时，熵的定义为 式中，式中，pi是出现状态是出现状态i的概率。当的概率。当X取连续值时，熵的取连续值时，熵的定义为定义为（a）1042.6最大熵谱估计与最大似然谱估计一、最大熵谱估计 第二章第二章 现现 代代 谱谱 估估 计计一、一、最大熵谱估计最大熵谱估计式式中中，p(x)是是X的的概概率率密密度度函函数数，对对于于离离散散随随机机序序列列，概概率率密密度度函函数数用用联联合合概概率率密密度度函函数数代代替替。显显然然,熵熵代代表表一一种种不不确确定定性性，最最大大熵熵代代表表最最大大的的不不确确定定性性，或或者者说说最最大大的的随随机机性性。下下面面我我们们研研究究对对于于有有限限的的自自相相关关函函数数值值不不作作任任何何改改变变，对对于于未未知知自自相相关关函函数数用用最最大大熵熵原原则则外外推推，即即不不作作任任何何附附加加条条件件的的外外推推方方法法。假假设设x(n)是是零零均均值值正正态态分分布布的的平平稳稳随随机机序序列列，它它的的 N 维维高高斯斯概率密度函数为概率密度函数为 式中式中 105一、最大熵谱估计式中，p(x)是X的概率密度函数，对于离散 第二章第二章 现现 代代 谱谱 估估 计计按照（按照（a）式，）式，x(n)信号的熵为信号的熵为（b）式式中中，det(Rxx(N)表表示示矩矩阵阵Rxx(N)的的行行列列式式。上上式式表表明，为使熵最大，要求明，为使熵最大，要求det(Rxx(N)最大。最大。106按照（a）式，x(n)信号的熵为（b）式中，det(Rx 第二章第二章 现现 代代 谱谱 估估 计计 若若已已知知N+1个个自自相相关关函函数数值值rxx(0)，rxx(1)，rxx(N)，下下面面用用最最大大熵熵方方法法外外推推rxx(N+1)。设设rxx(N+1)确确实实是是信信号号自自相相关关函函数数的的第第N+2个个值值，根根据据自自相相关关函函数数的的性性质质，由由N+2个个自自相相关关函函数数组组成成的的矩矩阵阵为为 107 若已知N+1个自相关函数值rxx(0)，rx 第二章第二章 现现 代代 谱谱 估估 计计它必须是非负定的矩阵，它必须是非负定的矩阵，即即 将将行行列列式式展展开开，det(Rxx(N+1)是是rxx(N+1)的的二二次次函函数数，该该二二次次函函数数系系数数的的符符号号是是：(-1)1+N+2(-1)1+N+1=-1,且且det(Rxx(N+1)对对rxx(N+1)的的二二次次导导数数是是-2detRxx(N-1)，它它是是负负值值，负负值值表表示示detRxx(N+1)对对rxx(N+1)的的一一次次导导数数是是减减函函数数，detRxx(N+1)作作为为rxx(N+1)的的函函数数，凹凹口口向向下下，那那么么只只有有一一个个最最大大值值。为为选选择择rxx(N+1)使使detRxx(N+1)最大，解下列方程：最大，解下列方程：108它必须是非负定的矩阵，即 将行列式展开，det(Rxx(N 第二章第二章 现现 代代 谱谱 估估 计计用数学归纳法，得到用数学归纳法，得到 上上式式是是rxx(N+1)的的一一次次函函数数，可可以以解解出出rxx(N+1)。继继续续再再将将rxx(N+1)代代入入Rxx(N+2)和和detRxx(N+2)中中，求求detRxx(N+2)对对rxx(N+2)的的最最大大值值，得得到到rxx(N+2)；以以此此类类推推，可可推推出出任任意意多多个个其其它它自自相相关关函函数数值值，而而不不必必假假设它们为零，这就是最大熵谱估计的基本思想。设它们为零，这就是最大熵谱估计的基本思想。(2.6.7)109用数学归纳法，得到 上式是rxx(N+1)的一次函数，可以解 第二章第二章 现现 代代 谱谱 估估 计计2.最大熵谱估计与最大熵谱估计与AR模型谱估计的等价性模型谱估计的等价性 我我们已已经知知道道AR模模型型信信号号自自相相关关函函数数与与模模型型参参数服从数服从Yule-Walker方程，即方程，即 m1 m=0 将将m1的情况写成矩阵形式：的情况写成矩阵形式：（2.6.8）1102.最大熵谱估计与AR模型谱估计的等价性 我们已经 第二章第二章 现现 代代 谱谱 估估 计计式式中中，ai=hA(i)，i=1,2,N，ai是是AR模模型型系系数数。解解该方程，可以得到模型系数该方程，可以得到模型系数ai，即，即 111式中，ai=hA(i)，i=1,2,N，ai是AR 第二章第二章 现现 代代 谱谱 估估 计计112112 第二章第二章 现现 代代 谱谱 估估 计计在（在（2.6.8）式中，令）式中，令m=N+1，得到，得到 将将以以上上求求出出的的系系数数a1,a2,aN代代入入上上式式，求求出出rxx(N+1)。而而最最大大熵熵外外推推自自相相关关函函数数的的公公式式是是(2.6.7)式，按照该公式的最后一行展开，式，按照该公式的最后一行展开，得到得到（2.6.12）113在（2.6.8）式中，令m=N+1，得到 将以上求出的系数a 第二章第二章 现现 代代 谱谱 估估 计计（2.6.13）上上式式即即是是最最大大熵外外推推自自相相关关函函数数的的公公式式，对比比（2.6.12）式式，两两公公式式完完全全一一样，证明明了了AR模模型型功功率率谱估估计和和最最大大熵谱估估计的的等等价价性性。这里里最最大大熵外外推推自自相相关关函函数数等等价价于于已已知知N+1个个自自相相关关函函数数，匹匹配配一一个个 N 阶AR信信号号模模型型的的系系数数。一一旦旦通通过解解Yule-Walker方方程程，解解出出模模型型参参数数，最最大大熵谱估估计用用下下式式计算信号功率算信号功率谱：（4.7.14）114（2.6.13）上式即是最大熵外推自相关函数的公式，对比（第二章第二章 现现 代代 谱谱 估估 计计 思思想想：最最大大似似然然谱估估计是是用用一一个个FIR滤波波器器实现，该滤波波器器对所所关关心心频率率的的正正弦弦信信号号，可可以以无无失失真真地地通通过，而而对于于其其它它频率率的的信信号号，让其其频响响尽尽可可能能地地小小，亦亦即即将将它它们尽尽可可能能地地滤除除。此此时，滤波波器器输出出的的均均方方值，就就作作为信号的功率信号的功率谱估估计。二、二、最大似然谱估计最大似然谱估计最小方差谱估计最小方差谱估计115 思想：最大似然谱估计是用一个FIR滤波器实现，该 第二章第二章 现现 代代 谱谱 估估 计计MVDRMVDR滤波器原理滤波器原理 图 M抽头的FIR滤波器FIR滤波器的输入为随机过程 ，输