平稳时间序列 PPT

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,9.2,随机时间序列分析模型,一、时间序列模型的基本概念及其适用性,二、随机时间序列模型的平稳性条件,三、随机时间序列模型的识别,四、随机时间序列模型的估计,五、随机时间序列模型的检验,经典计量经济学模型与时间序列模型,确定性时间序列模型与随机性时间序列模型,一、时间序列模型的基本概念及其适用性,1,、时间序列模型的基本概念,随机时间序列模型（,time series modeling）,是指仅用它的过去值及随机扰动项所建立起来的模型，其一般形式为,X,t,=F(X,t-1, X,t-2,t,),建立具体的时间序列模型，需解决如下三个问题,：,(1),模型的具体形式,(2),时序变量的滞后期,(3),随机扰动项的结构,例如，取线性方程、一期滞后以及白噪声随机扰动项（,t,=,t,），,模型将是一个,1,阶自回归过程,AR(1)：,X,t,=,X,t-1,+ ,t,这里，,t,特指,一白噪声,。,一般的,p,阶自回归过程,AR(p),是,X,t,=,1,X,t-1,+ ,2,X,t-2,+,+ ,p,X,t-p,+,t,(*),(1),如果随机扰动项是一个白噪声,(,t,=,t,)，,则称,(*),式为一,纯,AR(p),过程（,pure AR(p) process）,，,记为,X,t,=,1,X,t-1,+ ,2,X,t-2,+,+ ,p,X,t-p,+,t,(2),如果,t,不是一个白噪声，通常认为它是一个,q,阶的,移动平均（,moving average）,过程,MA(q),：,t,=,t,-,1,t-1,-,2,t-2,-,-,q,t-q,该式给出了一个,纯,MA(q),过程（,pure MA(p) process,）,。,将,纯,AR(p),与纯,MA(q),结合，得到一个一般的,自回归移动平均（,autoregressive moving average,）,过程,ARMA,（,p,q,）,：,X,t,=,1,X,t-1,+ ,2,X,t-2,+,+ ,p,X,t-p,+,t,-,1,t-1,-,2,t-2,-,-,q,t-q,该式表明：,（,1,）一个随机时间序列可以通过一个自回归移动平均过程生成，,即该序列可以由其自身的过去或滞后值以及随机扰动项来解释。,（,2,）如果该序列是平稳的,，即它的行为并不会随着时间的推移而变化，,那么我们就可以通过该序列过去的行为来预测未来。,这也正是随机时间序列分析模型的优势所在。,经典回归模型的问题：,迄今为止，,对一个时间序列,Xt,的变动进行解释或预测，是通过某个单方程回归模型或联立方程回归模型进行的，由于它们以因果关系为基础，且具有一定的模型结构，因此也常称为,结构式模型（,structural model）,。,然而，,如果,Xt,波动的主要原因可能是我们无法解释的因素，如气候、消费者偏好的变化等，则利用结构式模型来解释,Xt,的变动就比较困难或不可能，因为要取得相应的量化数据，并建立令人满意的回归模型是很困难的。,有时，,即使能估计出一个较为满意的因果关系回归方程，但由于对某些解释变量未来值的预测本身就非常困难，甚至比预测被解释变量的未来值更困难，这时因果关系的回归模型及其预测技术就不适用了。,2,、时间序列分析模型的适用性,例如,，,时间序列过去是否有明显的增长趋势,，如果增长趋势在过去的行为中占主导地位，能否认为它也会在未来的行为里占主导地位呢？,或者,时间序列显示出循环周期性行为,，我们能否利用过去的这种行为来外推它的未来走向？,随机时间序列分析模型，就是要通过序列过去的变化特征来预测未来的变化趋势,。,使用时间序列分析模型的另一个原因在于,：,如果经济理论正确地阐释了现实经济结构，则这一结构可以写成类似于,ARMA(p,q),式的时间序列分析模型的形式。,在这些情况下，我们采用另一条预测途径,：,通过时间序列的历史数据，得出关于其过去行为的有关结论，进而对时间序列未来行为进行推断,。,例如，,对于如下最简单的宏观经济模型：,这里，,Ct、It、,Yt,分别表示消费、投资与国民收入。,Ct,与,Yt,作为内生变量，它们的运动是由作为外生变量的投资,It,的运动及随机扰动项,t,的变化决定的。,上述模型可作变形如下：,两个方程等式右边除去第一项外的剩余部分可看成一个综合性的随机扰动项，其特征依赖于投资项,I,t,的行为。,如果,I,t,是一个白噪声,，则消费序列,C,t,就成为一个,1,阶自回归过程,AR(1),，,而收入序列,Y,t,就成为一个,(1,1),阶的自回归移动平均过程,ARMA(1,1),。,二、随机时间序列模型的平稳性条件,自回归移动平均模型（,ARMA）,是随机时间序列分析模型的普遍形式，自回归模型（,AR）,和移动平均模型（,MA）,是它的特殊情况。,关于这几类模型的研究，是,时间序列分析的重点内容,：,主要包括,模型的平稳性分析,、,模型的识别,和,模型的估计,。,1,、,AR(p,),模型的平稳性条件,随机时间序列模型的平稳性,，,可通过它所生成的随机时间序列的平稳性来判断,。,如果,一个,p,阶自回归模型,AR(p),生成的时间序列是平稳的，就说该,AR(p),模型是平稳的,，,否则,，,就说该,AR(p),模型是非平稳的,。,考虑,p,阶自回归模型,AR(p),X,t,=,1,X,t-1,+ ,2,X,t-2,+,+ ,p,X,t-p,+,t,(*),引入,滞后算子（,lag operator,）,L,：,LX,t,=X,t-1, L,2,X,t,=X,t-2,L,p,X,t,=,X,t-p,(*),式变换为,(1-,1,L-,2,L,2,-,p,L,p,)X,t,=,t,记,(,L)= (,1-,1,L-,2,L,2,-,-,p,L,p,),则称多项式方程,(,z)= (,1-,1,z-,2,z,2,-,-,p,z,p,)=0,为,AR(p),的,特征方程,(,characteristic equation),。,可以证明，,如果该特征方程的所有根在单位圆外（根的模大于,1,），则,AR(p),模型是平稳的。,例,9.2.1,AR(1),模型的平稳性条件。,对,1,阶自回归模型,AR(1),方程两边平方再求数学期望，得到,Xt,的方差,由于,X,t,仅与,t,相关，因此，,E(X,t-1,t,)=0,。,如果该模型稳定，则有,E(X,t,2,)=E(X,t-1,2,),，,从而上式可变换为：,在稳定条件下，该方差是一非负的常数，从而有,|,|,1,。,而,AR(1),的特征方程,的根为,z=1/,AR(1),稳定，即,|,|,1,，意味着特征根大于,1,。,例,9.2.2,AR(2),模型的平稳性。,对,AR(2),模型,方程两边同乘以,Xt,，,再取期望得：,又,由于,于是,同样地，由原式还可得到,于是方差为,由平稳性的定义，该方差必须是一不变的正数，于是有,1+21, 2-11, |2|1,这就是,AR(2),的平稳性条件,，或称为,平稳域,。它是一顶点分别为（,-2,-1,），（,2,-1,），（,0,1,）的三角形。,对应的特征方程,1-,1,z-,2,z,2,=0,的两个根,z,1,、,z,2,满足：,z,1,z,2,=-1/,2,z,1,+z,2,=-,1,/,2,AR(2),模型,解出,1,，,2,由,AR(2),的平稳性，,|,2,|=1/|,z,1,|z,2,|1,，,有,于是,|,z,2,|1,。,由,2,-,1,1,可推出同样的结果。,对高阶自回模型,AR(p),来说,，多数情况下没有必要直接计算其特征方程的特征根，但有,一些有用的规则可用来检验高阶自回归模型的稳定性,：,(1),AR(p),模型稳定的必要条件是,：,1,+,2,+,p,1,(2),由于,i,(i=1,2,p),可正可负，,AR(p),模型稳定的充分条件是：,|,1,|+|,2,|+|,p,|1,对于移动平均模型,MR(q),：,X,t,=,t,-,1,t-1,-,2,t-2,-,-,q,t-q,其中,t,是一个白噪声，于是,2,、,MA(q),模型的平稳性,当滞后期大于,q,时，,Xt,的自协方差系数为,0,。,因此,:,有限阶移动平均模型总是平稳的,。,由于,ARMA (p,q),模型是,AR(p),模型与,MA(q),模型的组合：,X,t,=,1,X,t-1,+ ,2,X,t-2,+,+ ,p,X,t-p,+,t,-,1,t-1,-,2,t-2,-,-,q,t-q,3,、,ARMA(p,q),模型的平稳性,而,MA(q),模型总是平稳的，因此,ARMA (p,q),模型的平稳性取决于,AR(p),部分的平稳性。,当,AR(p),部分平稳时，则该,ARMA(p,q),模型是平稳的，否则，不是平稳的。,最后,（,1,）一个平稳的时间序列总可以找到生成它的平稳的随机过程或模型；,（,2,）一个非平稳的随机时间序列通常可以通过差分的方法将它变换为平稳的，对差分后平稳的时间序列也可找出对应的平稳随机过程或模型。,因此，,如果我们将一个非平稳时间序列通过,d,次差分，将它变为平稳的，然后用一个平稳的,ARMA(p,q),模型作为它的生成模型，则我们就说该原始时间序列是一个,自回归单整移动平均（,autoregressive integrated moving average）,时间序列，记为,ARIMA(p,d,q),。,例如，,一个,ARIMA(2,1,2),时间序列在它成为平稳序列之前先得差分一次，然后用一个,ARMA(2,2),模型作为它的生成模型的。,当然，,一个,ARIMA(p,0,0),过程表示了一个纯,AR(p),平稳过程；一个,ARIMA(0,0,q),表示一个纯,MA(q),平稳过程。,三、随机时间序列模型的识别,所谓随机时间序列模型的识别,，,就是对于一个平稳的随机时间序列，找出生成它的合适的随机过程或模型,，即判断该时间序列是遵循一纯,AR,过程、还是遵循一纯,MA,过程或,ARMA,过程。,所使用的工具,主要是,时间序列的,自相关函数,（,autocorrelation function，,ACF,）,及,偏自相关函数,（,partial autocorrelation function，,PACF,）。,1、,AR(p),过程,(1),自相关函数,ACF,1,阶自回归模型,AR(1),X,t,=,X,t-1,+ ,t,的,k,阶滞后,自协方差,为：,=1,2,因此，,AR(1),模型的,自相关函数,为,=1,2,由,AR(1),的稳定性知,|,|,1,，因此，,k,时，呈指数形衰减，直到零,。这种现象称为,拖尾,或称,AR(1),有无穷记忆,（,infinite memory,）。,注意,，,0,时，呈振荡衰减状。,X,t,=,1,X,t-1,+ ,2,X,t-2,+ ,t,该模型,的方差,0,以及滞后,1,期与,2,期的自协方差,1, ,2,分别为,阶自回归模型,AR(2),类似地,可写出,一般的,k,期滞后自协方差,：,(K=2,3,),于是,AR(2),的,k,阶自相关函数,为：,(K=2,3,),其中,:,1,=,1,/(1-,2,), ,0,=1,如果,AR(2),稳定，则由,1,+,2,1,知,|,k,|,衰减趋于零，呈拖尾状。,至于衰减的形式，要看,AR(2),特征根的实虚性，,若为实根，则呈单调或振荡型衰减，若为虚根，则呈正弦波型衰减。,一般地，,p,阶自回归模型,AR(p),X,t,=,1,X,t-1,+ ,2,X,t-2,+,p,X,t-p,+,t,k,期滞后协方差为,:,从而有,自相关函数,:,可见，,无论,k,有多大，,k,的计算均与其到,p,阶滞后的自相关函数有关,，因此,呈拖尾状,。,如果,AR(p),是稳定的，则,|,k,|,递减且趋于零,。,其中：,1/,z,i,是,AR(p),特征方程,(,z)=0,的特征根，由,AR(p),平稳的条件知，,|,z,i,|p,，,X,t,与,X,t-k,间的,偏自相关系数,为零。,AR(p),的一个主要特征是,:,kp,时，,k,*=,Corr(,X,t,X,t-k,)=0,即,k,*,在,p,以后是截尾的。,一随机时间序列的识别原则：,若,Xt,的偏自相关函数在,p,以后截尾，即,kp,时，,k,*,=0，,而它的自相关函数,k,是拖尾的，则此序列是自回归,AR(p),序列。,在实际识别时，由于样本偏自相关函数,r,k,*,是总体偏自相关函数,k,*,的一个估计，由于样本的随机性，当,kp,时，,r,k,*,不会全为,0,，而是在,0,的上下波动。但可以证明，当,kp,时，,r,k,*,服从如下渐近正态分布,:,r,k,*,N(0,1/n),式中,n,表示样本容量。,因此，如果计算的,r,k,*,满足,需指出的是,，,我们就有,95.5%,的把握判断原时间序列在,p,之后截尾。,对,MA(1),过程,2,、,MA(q),过程,可容易地写出它的,自协方差系数,：,于是，,MA(1),过程的,自相关函数,为：,可见，,当,k1,时，,k,0,，,即,X,t,与,X,t-k,不相关，,MA(1),自相关函数是截尾的。,MA(1),过程可以等价地写成,t,关于无穷序列,X,t,，X,t-1,，,的线性组合的形式：,或,（*）,(*),是一个,AR(,),过程，它的偏自相关函数非截尾但却趋于零，因此,MA(1),的偏自相关函数是非截尾但却趋于零的。,注意,:,(*),式只有当,|,|1,时才有意义，否则意味着距,Xt,越远的,X,值，对,Xt,的影响越大，显然不符合常理。,因此，我们,把,|,|q,时，,X,t,与,X,t-k,不相关，即存在截尾现象，因此，,当,kq,时，,k,=0,是,MA(q),的一个特征,。,于是：,可以根据自相关系数是否从某一点开始一直为,0,来判断,MA(q),模型的阶。,与,MA(1),相仿，可以验证,MA(q),过程的偏自相关函数是非截尾但趋于零的。,MA(q),模型的识别规则：,若随机序列的自相关函数截尾，即自,q,以后，,k,=0（ kq）；,而它的偏自相关函数是拖尾的，则此序列是滑动平均,MA(q),序列。,同样需要注意的是,：在实际识别时，由于样本自相关函数,r,k,是总体自相关函数,k,的一个估计，由于样本的随机性，当,kq,时，,r,k,不会全为,0,，而是在,0,的上下波动。但可以证明，当,kq,时，,r,k,服从如下渐近正态分布,:,r,k,N(0,1/n),式中,n,表示样本容量。,因此，,如果计算的,r,k,满足：,我们,就有,95.5%,的把握判断原时间序列在,q,之后截尾,。,ARMA(p,q),的自相关函数,，可以看作,MA(q),的自相关函数和,AR(p),的自相关函数的混合物。,当,p=0,时，它具有截尾性质,；,当,q=0,时，它具有拖尾性质；,当,p,、,q,都不为,0,时，它具有拖尾性质,从识别上看，通常：,ARMA(p,，,q),过程的偏自相关函数（,PACF,）,可能在,p,阶滞后前有几项明显的尖柱（,spikes,），,但从,p,阶滞后项开始逐渐趋向于零；,而,它的自相关函数（,ACF,）,则是在,q,阶滞后前有几项明显的尖柱，从,q,阶滞后项开始逐渐趋向于零。,3、,ARMA(p, q),过程,四、随机时间序列模型的估计,AR(p)、MA(q)、ARMA(p,q),模型的估计方法较多，,大体上分为,3,类：,（,1,）最小二乘估计；,（,2,）矩估计；,（,3,）利用自相关函数的直接估计,。,下面有选择地加以介绍。,结构,阶数,模型,识别,确定,估计,参数,AR(p),模型的,Yule Walker,方程估计,在,AR(p),模型的识别中，曾得到,利用,k,=,-k,，,得到如下方程组：,此方程组被称为,Yule Walker,方程组,。,该方程组建立了,AR(p),模型的模型参数,1,2,p,与自相关函数,1,2,p,的关系，,利用实际时间序列提供的信息，,首先,求得自相关函数的估计值,然后,利用,Yule Walker,方程组，求解模型参数的估计值,由于,于是,从而可得,2,的估计值,在具体计算时，,可用样本自相关函数,r,k,替代。,MA(q),模型的矩估计,将,MA(q),模型的自协方差函数中的各个量用估计量代替，得到：,首先,求得自协方差函数的估计值，,(*),是一个包含,(,q+1),个待估参数,(*),的非线性方程组，可以用,直接法,或,迭代法,求解。,常用的迭代方法有,线性迭代法,和,Newton-,Raphsan,迭代法,。,（,1,）,MA(1),模型的直接算法,对于,MA(1),模型，（*）式相应地写成,于是,或,有,于是有解,由于参数估计有两组解，可根据可逆性条件,|,1,|1,的,MA(q),模型，一般用迭代算法估计参数：,由（*）式得,第一步,，给出,的一组初值，比如,代入（,*,）式，计算出第一次迭代值,（*）,第二步,，将第一次迭代值代入（,*,）式，计算出第二次迭代值,按此反复迭代下去，直到第,m,步的迭代值与第,m-1,步的迭代值相差不大时（满足一定的精度），便停止迭代，并用第,m,步的迭代结果作为（,*,）的近似解。,ARMA(p,q),模型的矩估计,在,ARMA(p,q),中共有,(,p+q+1),个待估参数,1,2,p,与,1,2,q,以及,2,，其估计量计算步骤及公式如下：,第一步,，估计,1,2,p,是总体自相关函数的估计值，可用样本自相关函数,r,k,代替。,第二步，,改写模型，求,1,2,q,以及,2,的估计值,将模型,改写为：,令,于是,(*),可以写成：,(*),构成一个,MA,模型。按照估计,MA,模型参数的方法，可以得到,1,2,q,以及,2,的估计值。,AR(p),的最小二乘估计,假设模型,AR(p),的参数估计值已经得到，即有,残差的平方和为：,(*),根据最小二乘原理，所要求的参数估计值是下列方程组的解：,即,j=1,2,p,(*),解该方程组，就可得到待估参数的估计值。,为了与,AR(p),模型的,Yule Walker,方程估计进行比较，将,(*),改写成：,j=1,2,p,由自协方差函数的定义，并用自协方差函数的估计值,代入，上式表示的方程组即为：,或,j=1,2,p,j=1,2,p,解该方程组，得到：,即为参数的最小二乘估计。,Yule Walker,方程组的解,比较发现，当,n,足够大时，二者是相似的。,2,的估计值为：,需要说明的是，,在上述模型的平稳性、识别与估计的讨论中，,ARMA(p,q),模型中均未包含常数项。,如果包含常数项，该常数项并不影响模型的原有性质,，因为通过适当的变形，可将包含常数项的模型转换为不含常数项的模型。,下面以一般的,ARMA(p,q),模型为例说明。,对含有常数项的模型,方程两边同减,/(1-,1,-,p,),，,则可得到,其中,五、模型的检验,由于,ARMA(p,q),模型的识别与估计是在假设随机扰动项是一白噪声的基础上进行的，因此，,如果估计的模型确认正确的话，残差应代表一白噪声序列,。,如果通过所估计的模型计算的样本残差不代表一白噪声，则说明模型的识别与估计有误，需重新识别与估计。,在实际检验时，主要检验残差序列是否存在自相关,。,1,、残差项的白噪声检验,可用,QLB,的统计量进行,2,检验,：在给定显著性水平下，可计算不同滞后期的,QLB,值，通过与,2,分布表中的相应临界值比较，来检验是否拒绝残差序列为白噪声的假设。,若大于相应临界值，则应拒绝所估计的模型，需重新识别与估计。,2,、,AIC,与,SBC,模型选择标准,另外一个遇到的问题是，在实际识别,ARMA(p,q),模型时，需多次反复偿试，有可能存在不止一组（,p,q）,值都能通过识别检验。,显然，,增加,p,与,q,的阶数，可增加拟合优度,，,但却同时降低了自由度,。,因此，,对可能的适当的模型，存在着模型的“简洁性”与模型的拟合优度的权衡选择问题。,其中，,n,为待估参数个数（,p+q+,可能存在的常数项），,T,为可使用的观测值，,RSS,为残差平方和（,Residual sum of squares）。,在选择可能的模型时，,AIC,与,SBC,越小越好,显然，如果添加的滞后项没有解释能力，则对,RSS,值的减小没有多大帮助，却增加待估参数的个数，因此使得,AIC,或,SBC,的值增加。,需注意的是：,在不同模型间进行比较时，必须选取相同的时间段。,常用的模型选择的判别标准有：,赤池信息法,（,Akaike,information criterion，,简记为,AIC,）,与,施瓦兹,贝叶斯法,（,Schwartz Bayesian criterion，,简记为,SBC,）：,由第一节知：中国支出法,GDP,是非平稳的，但它的一阶差分是平稳的，即支出法,GDP,是,I(1),时间序列。,可以对经过一阶差分后的,GDP,建立适当的,ARMA(p,q),模型。,记,GDP,经一阶差分后的新序列为,GDPD1，,该新序列的样本自相关函数图与偏自相关函数图如下：,例,9.2.3,中国支出法,GDP,的,ARMA(p,q),模型估计。,图形：,样本自相关函数图形呈正弦线型衰减波，而偏自相关函数图形则在滞后两期后迅速趋于,0,。因此,可初步判断该序列满足,2,阶自回归过程,AR(2)。,自相关函数,与,偏自相关函数,的,函数值：,相关函数具有明显的拖尾性；,偏自相关函数值在,k2,以后，,可认为：,偏自相关函数是截尾的。再次验证了一阶差分后的,GDP,满足,AR(2),随机过程。,设序列,GDPD1,的模型形式为,有如下,Yule Walker,方程：,解为：,用,OLS,法回归的结果为：,（7.91) (-3.60),r,2,=0.8469 R,2,=0.8385 DW=1.15,有时，在用回归法时，也可加入常数项,。,本例中加入常数项的回归为：,（,1.99,） （,7.74,） （,-3.58,）,r,2,=0.8758 R,2,=0.8612 DW.=1.22,模型检验,下表列出三模型的残差项的自相关系数及,Q,LB,检验值。,模型,1,与模型,3,的残差项接近于一白噪声，但模型,2,存在,4,阶滞后相关问题，,Q,统计量的检验也得出模型,2,拒绝所有自相关系数为零的假设。因此,:,模型,1,与,3,可作为描述中国支出法,GDP,一阶差分序列的随机生成过程。,用建立的,AR(2),模型对中国支出法,GDP,进行外推预测。,模型,1,可作如下展开：,于是，当已知,t-1,、,t-2,、,t-3,期的,GDP,时，就可对第,t,期的,GDP,作出外推预测。,模型,3,的预测式与此相类似，只不过多出一项常数项。,对,2001,年中国支出法,GDP,的预测结果（亿元）,预测值 实际值 误差,模型,1 95469 95933 -0.48%,模型,3 97160 95933 1.28%,由于,中国人均居民消费（,CPC）,与人均国内生产总值（,GDPPC）,这两时间序列是非平稳的，因此不宜直接建立它们的因果关系回归方程。,但它们都是,I(2),时间序列,，因此可以建立它们的,ARIMA(p,d,q),模型。,下面只建立,中国人均居民消费（,CPC）,的随机时间序列模型。,中国人均居民消费（,CPC）,经过二次差分后的新序列记为,CPCD2，,其自相关函数、偏自相关函数及,Q,统计量的值列于下表：,例,9.2.4,中国人均居民消费的,ARMA(p,q),模型,在,5%,的显著性水平下，通过,Q,统计量容易验证该序列本身就接近于一白噪声，因此可,考虑采用零阶,MA(0),模型,:,由于,k=2,时，,|,r,2,|=|-0.29|,因此,也可考虑采用下面的,MA,模型：,当然，还可观察到自相关函数在滞后,4,、,5,、,8,时有大于,0.2,的函数值，因此，可考虑在模型中增加,MA(4)、MA(5)、MA(8)。,不同模型的回归结果列于表,9.2.5,。,可以看出,:,在纯,MA,模型中，模型,4,具有较好的性质，但由于,MA(5),的,t,检验偏小，因此可选取模型,3,。,最后，给出通过模型,3,的外推预测。,模型,3,的展开式为：,即,由于,t,表示预测期的随机扰动项，它未知，可假设为,0,，于是,t,期的预测式为,:,为模型,3,中滞后,2,期与滞后,4,期的相应残差项的估计值。,表,9.2.6,列出了采用模型,3,对中国居民人均居民消费水平的,2,期外推预测。,为了对照，表中也同时列出了采用,2.10,的模型的预测结果。,