资源描述
王国利,信息科学与技术学院自动化系,中山大学,http:/human-,系统辨识(SystemIdentification)第十讲:最小二乘法,最小二乘法,最小二乘估计-辨识对象:单输入单输出(SISO)系统A(z-1)y(k)=B(z-1)u(k)+e(k)z-1是延迟算子A(z-1)=1+a1z-1+a2z-2+anz-nB(z-1)=b0+b1z-1+b2z-2+bnz-n-辨识问题:给定I/O数据u(k),y(k),k=0,1,2,n+N归结为估计a1,a2,an,b0,b1,b2,bn,最小二乘法(续),-记号与问题描述y(n+k)=(n+k)T+e(n+1),k=1,2,N其中=a1a2anb0b1b2bnT(n+k)=-y(n+k-1)-y(n+k)y(k)u(n+k)u(n+k-1)u(k)TN序列回归矩阵N=(n+1)(n+2)(n+N)TN序列系统模型YN=N+eN,回归向量,参数向量,最小二乘法(续),N序列回归模型(续)YN=y(n+1)y(n+2)y(n+N)TeN=e(n+1)e(n+2)e(n+N)T给定估计的参数,N序列回归预测误差向量e=YN-N二次预测残差（注意是标量）J()=eTe=(YN-N)T(YN-N)=ke(n+k)2最小二乘估计ls=argminJ(),最小二乘法(续),-最小二乘估计多元函数微分：f(x1,x2,xn):RnRf关于x的微分为df/dx=f/x1f/x2f/xnTd2f/dx2=2f/xixj特别地f(x)=bTx=xTbdf/dx=bf(x)=xTAxdf/dx=(A+AT)xd2f/dx2=(A+AT),最小二乘法(续),J()关于参数向量的一阶和二阶微分J()=(YN-N)T(YN-N)=YNTYN-YNTN-NTYN+NTN=YNTYN-2YNTN-TNTN容易验证dJ/d=-2NTYN-2NTNd2J/d2=-2NTN若d2J/d2=cov(mv),最小二乘法(续),下面证明cov(wls)=cov(mv)引入记号：Lwls=NTWN-1NTWLmv=NTR-1N-1NTR-1则协方差可以表示成cov(wls)=LwlsRLwlsTcov(mv)=LmvRLmvT注意到LwlsRLmvT=NTWN-1NTWRR-1NNTR-1N-1=NTR-1N-1=cov(mv),最小二乘法(续),考察cov(wls)-cov(mv)=cov(wls)-cov(mv)-cov(mv)+cov(mv)=LwlsRLwlsT-LwlsRLmvT-LmvRLwlsT+LmvRLmvT=(Lwls-Lmv)R(Lwls-Lmv)T=0换言之cov(wls)=cov(mv)得证。,最小二乘法(续),-一致性：估计以概率1收敛于真值定理：当e(k)为白噪声时，最小二乘估计是一致的limNP(|ls-|)=1证明：e(k)为白噪声时，回顾R=cov(eN)=EeNTeN=e2INxN考察limNcov(ls)=limNe2NTN-1=limNe2/NNTN/N-1注意到NTN/N=k(n+k)(n+k)T/NNE(n+k)(n+k)T,最小二乘法(续),亦即limNcov(ls)=limNe2/NNTN/N-1=0注意到Els=，故limNls=,w.p.l得证。,最小二乘法(续),-渐进正态特性：估计服从正态分布假定：eNN(0,e2INxN)定理：当e(k)为正态白噪声时，最小二乘估计服从正态分布，即lsN(,e2ENTN)证明：回顾YN=N+eN,知道YNN(EN,e2INxN)又ls=NTN-1NTYN，是YN的线性函数，故lsN(Els,cov(ls)N(,e2ENTN).得证。,
展开阅读全文