资源描述
,6.4 ARMA,模型阶的确定,基于假定模型的阶已知的前提下介绍了参数估计的方法,.,对动态数据进行相关分析，初步判别模型类别以及阶的初步估计,.,有各类判定模型阶数的方法,一、相关函数定阶法,用相关函数的截尾性判别方法给出模型阶的初步估计,.,例,6.4.1,设,t,是标准正态白噪声，,x,t,是满足下,AR,(4),模型的模拟序列（,N,=300,）,直线方程为,计算偏相关函数，可初估计,对,p,=1,2,10,分别求参数和噪声方差的,y-w,估计，可得,若时间序列,X,t,实际是,p,阶有限自回归模型,AR(,p,),其噪声方差为,如果选择,AR(,k,),模型进行拟合，则,1,）若,k,p,(,称为过拟合,),不会显著减小，,有可能还略有增大,.,类似于统计学中多元回归分析的逐步回归法，通过假设检验来确定阶数,.,原假设：序列满足,AR(,k,),模型；,备择假设：序列满足,AR(,k,+1),模型,.,二、残差方差图定阶法,结论,用一系列阶数逐次递增的,AR(,k,),模型拟合原模型，其残差的方差一般随着,k,的增大而逐渐下降，当,k=p,以后变动幅度会趋小,.,JenkinsWhitt,方法：,利用残差方差图判定,AR,模型阶数,.,残差方差的估计式为,(6.4.1),其中,3,）观察残差方差图，若 从,k,*,始基本保持,不 变,(,无明显下降趋势,),就可令,注,1,残差方差图方法是一种观察试验方法，,无定量判断的准则,.,2,）画出的残差方差 图；,定阶步骤,:,1,）分别用,AR(,k,),模型,(,k,=1,2,M,),拟合观察,数据,计算相应的残差方差,(,k,=1,2,M,),；,注,2,若观察数据不是来自,AR,模型时,常常不,是单调下降的,.,例,6.4.2,下图是一磨轮剖面资料的数据图,自相关函数图,偏相关函数图,模型阶数从,1,升至,2,，残差方差大幅度减小，升至,5,后残差方差反而略有增加,.,残差方差图,二、最佳准则函数定阶法,通常是先定义一个与模型参数有关的,准则函数,:,1),考虑拟合时对数据的接近程度；,2,）考虑模型中待定系数的个数,.,使准则函数达到最小值的模型是最佳模型,.,取使,准则函数,为最小的阶数值作为估计值,.,1.FPE(,最终预报误差,),准则,不足拟合与过度拟合都会使预报误差增大,.,日本学者赤池,(Akaike),思想,AR,模型的阶,数估计值不能取过大，也不能过小,.,过大,会导致模型的复杂度增大，使参数估,计值的不确定性增大；,过小,使拟合模型与真实模型差异过大,.,Akaike,提出用最终预报误差准则,(Final,Prediction Error,记为,FPE),来判定,AR,模型,的阶数,.,导出目标函数,(6.4.2),其中,N,为样本长度,k,为模型阶数，为相应,的残差方差估计,.,分析,(6.4.2),中有两个因子,:,1),因子 依赖于,k,其大小反映了模型与,数据的拟合程度；,2),第一个因子随,k,增大而增大,放大了残,差方差的不确定性影响,.,Akaike,准则,选择使,(6.4.3),成立的,p,为,AR,模型的阶数估计值,若有多个,则取其中最小者,.,Akaike,从信息论的概念导出适用面广泛,的统计模型准则,AIC,准则,(Akaike Infor,mation Criterion).,2.,最小信息准则,(AIC),AIC,准则可应用于,ARMA,模型及其他统计模型,(,如多项式回归定阶,).,能在模型参数极大似然估计的基础上，对于,ARMA(,p,q,),的阶数和相应的参数，同时给出一种最佳估计,.,1,）最小信息准则,AIC,的一般形式,设 是随机向量,其概率密度为 ，属于概率密度族 ，是模型的参数向量，且,基本思想：利用,KL(Kull-back,Leibler),信息量,(6.4.4),来刻划 与 的接近程度,.,分析：,应使,KL,信息量达到最小值,.,两个函数接近程度越高,K-L,信息量越小,使,KL,信息量达到最小值,即,(6.4.5),可求出最小信息准则,AIC,的一般形式为,(6.4.6),结论,可证明,AIC,的一般形式是,KL,信息量,的渐近无偏相容估计,.,m,为参数个数,AIC,注,1,若估计模型与真实模型存在较大的差异,时，或阶数估计偏低时，上式中右端的,第一项会显著变大，第二项则作用不大；,注,2,若阶数估计偏高时，上式中第二项起主,要作用,.,上式是对两方面的加权平均,(,权系数为,2).,Akaike,原则,从一组可供选择的模型中，,应选取,AIC,为最小的模型,.,2,）,ARMA,、,AR,、,MA,模型,在一定条件下,(,参见公式,5.5.3),ARMA,模型的对数似然函数可近似为,其中因,见公式（,5.5.4,）,(6.4.7),式中 为残差方差,.,m,为参数个数,有,ARMA(,p,q,),模型,:,m,=,p,+,q+,1;,AR(,p,),模型,:,m=p,+1;,MA(,q,),模型,:,m=q,+1;,注,由,AIC,准则定出的阶数估计不是模型真实阶数的相合估计，一般阶数估计值,偏大,.,在,N,充分大而且固定的条件下,3.AIC,准则与,FPE,准则的关系,AIC,准则与,FPE,准则有渐近等价关系：,证,结论,当,N,充分大时,AIC,和,FPE,准则给出的,阶数估计值相同,FPE,准则也可以用于,ARMA,模型定阶,.,四、,BIC,准则,AIC,准则避免了统计检验中由于选取置信度而产生的人为性，为模型定阶带来许多方便,.,但,AIC,方法未给出相容估计,.,Akaike,（,1976,）提出新的定阶准则,BIC,(6.4.8),式中,m,=,p,+,q+,1,表示自由参数个数,.,注,1,AIC,和,BIA,的差别是用,m,ln,N,替代,2,m,，,使利用多余参数的代价增大,.,一般,BIC,阶数估计值比,AIC,阶数估计值低,.,注,2,BIC,准则可以给出阶数的相容估计,.,例,6.4.1,设,e,t,是标准正态白噪声，,x,t,是满足,AR,(4),模型的模拟序列（,N,=300,）,已初步估计 ，计算,AIC,和,BIC,函数如下,两种方法都估计出,仅是一次估计结论,现模拟,1000,条序列，每次,N,=300,，有以下结果,有,Ave,(AIC)=4.413;,Ave,(BIC)=3.039,；,BIC,定阶对阶数的低估比例达,51.1%,；,增大样本长度,N,可改善这种情况,.,模拟,1000,条序列，每次,N,=1000,，有以下结果,有,Ave,(AIC)=4.589;,Ave,(BIC)=3.996,；,对较大样本长度,N,，仍应综合考虑两种定阶方法,.,5.5 ARMA,模型参数的精估计,极大似然估计,(,最小平方和估计,),一、极大似然估计（,ML,估计）,建立在极大似然准则上的估计,.,设随机序列,Y,t,的有限维概率密度存在,由一组参数 惟一确定,联合概率密度是参数向量,和样本的函数,.,记联合概率密度为,例,5.5.1,若样本 是零均值正态随机变量，其联合概率密度为,其中 是协方差矩阵,.,对给定样本值,为,对数似然函数,.,的,极大似然估计,.,定义,注,必需已知联合概率密度,.,二、,ARMA,序列参数的极大似然函数,设,X,t,是零均值,正态,ARMA,序列，给定样本,的样本值,联合概率密度为,其中 协方差矩阵,.,对数似然函数为,为显含参数,令,（,5.5.1,）,记,是,ARMA,模型的参数向量,均值,E,表示是参数向量,的函数,.,（,5.5.2,）,注,对一般,ARMA,模型，其参数的似然函,数及极大似然估计要复杂许多,.,三、,ARMA,序列参数的近似极大似然方法,应选择,ML,使,(5.5.2),能取极大值,.,很难,得不出极值的解析表示，数值求解也很困难,.,分析：,1.,对任意样本长度,N,，行列式,|,M,N,|,是有界的；,2.,仅与,N,有关，与参数向量,无关；,N,充分大时，,的极值点与,（,5.5.3,）,的极值点几乎一样,.,近似似然函数,定义,称 是,平方和函数,.,定理,5.5.2,设,ARMA,模型平稳可逆，使,充分大时，近似等于参数的极大似然估计，而且,达到最小值的参数估计,当样本长度,N,（,5.5.4,）,
展开阅读全文