平稳时序建模课件

平稳序列建模n建模步骤n模型识别n参数估计n模型检验n模型优化n序列预测建模步骤平平稳稳非非白白噪噪声声序序列列计计算算样样本本相相关关系系数数模型模型识别识别参数参数估计估计模型模型检验检验模模型型优优化化序序列列预预测测YN对平稳时间序列建立模型一般要经过以下几步：1.模型识别：根据系统性质，以及所提供的时序据的概貌，提出一个相适的类型的模型、模型的定阶等。2.模型参数估计：就是根据实际的观测数据具体地确定该数学模型所包含的项数以及各项系数的数值。3.模型的诊断检验：包括模型的适应性检验等。4.模型的应用：如预测。n序列的非平稳包括均值非平稳和方差非平稳。n序列平稳性的检验方法和手段主要有：序列趋势图、自相关图、单位根检验、非参数检验方法等等。计算样本相关系数n样本自相关系数n样本偏自相关系数模型识别n基本原则选择模型拖尾P阶截尾AR(P)q阶截尾拖尾MA(q)拖尾拖尾ARMA(p,q)模型定阶的困难n因为由于样本的随机性，样本的相关系数不会呈现出理论截尾的完美情况，本应截尾的 或 仍会呈现出小值振荡的情况n由于平稳时间序列通常都具有短期相关性，随着延迟阶数 ，与 都会衰减至零值附近作小值波动?当 或 在延迟若干阶之后衰减为小值波动时，什么情况下该看作为相关系数截尾，什么情况下该看作为相关系数在延迟若干阶之后正常衰减到零值附近作拖尾波动呢？样本相关系数的近似分布nBarlettnQuenouille模型定阶经验方法n95的置信区间n模型定阶的经验方法n如果样本(偏)自相关系数在最初的d阶明显大于两倍标准差范围，而后几乎95的自相关系数都落在2倍标准差的范围以内，而且通常由非零自相关系数衰减为小值波动的过程非常突然。这时，通常视为(偏)自相关系数截尾。截尾阶数为d。模型识别方法n（一）平稳序列模型识别要领n零均值平稳序列模型识别的主要根据是序列的自相关函数(ACF)和偏自相关函数(PACF)的特征。n若序列xt的偏自相关函数 在kp以后截尾，即kp 时，而且它的自相关函数 拖尾，则可判断此序列是AR(p)序列。n若序列xt的自相关函数 在kq以后截尾，即kq 时，而且它的偏自相关函数 拖尾，则可判断此序列是MA(q)序列。n若序列xt的自相关函数、偏相关函数都呈拖尾形态，则可断言此序列是ARMA序列。n若序列的自相关函数和偏自相关函数不但都不截尾，而且至少有一个下降趋势势缓慢或呈周期性衰减，则可认为它也不是拖尾的，此时序列是非平稳序列，应先将其转化为平稳序列后再进行模型识别。n（二）样本自相关函数(SACF)和偏自相关函数(SPACF)截尾性的判断。n前面模型识别方法中有关自相关函数 、偏自相关函数 截尾性的判断仅是理论上的，实际上的样本自相关函数 和样本偏自相关函数 仅是理论上的一个估计值，由于样本的随机性，免不了有误差。因此需要根据SACF和SPACF对ACF和PACF的截尾性作一判断。n1.样本自相关函数截尾性的判断方法n理论上证明：若序列xt为MA(q)序列，则kq后，序列的样本自相关函数 渐近服从正态分布，即：n故由正态分布理论可知：此处n是样本容量。对于kq，若 的个数不超过总个数的31.7%，或 的个数不超过总个数的4.5%，就可认为 在kq时是截尾的。n在实际进行检验实际进行检验时，可对每个k0，分别检验 （通常取 ）中满足 的个数所占的百分比是否超过31.7%，或满足 的个数是否超过4.5%。若k=1,2,q-1都超过了 而k=q时未超过，就可认为 在kq时是截尾的。n2.样本偏自相关函数截尾性的判断方法n可以证明：若序列xt为AR(p)序列，则kp后，序列的样本偏自相关函数 服从渐近正态分布，即近似的有：此处n表示样本容量。于是可得：在实际进行检验时，可对每个k0，分别检验 （通常取 ）中满足 的个数所占的百分比是否超过31.7%，或满足 的个数是否超过4.5%。若k=1,2,p-1都超过了，而k=p时未超过，就可认为 在kq时是截尾的。（三）关于ARMA序列阶数的确定nARMA序列的阶数，直接通过自相关图较难确定，较常用的方法有Pandit-Wu方法(后将介绍)或延伸自相关函数(EACF)法。例2.5续n选择合适的模型ARMA拟合1950年1998年北京市城乡居民定期储蓄比例序列。序列自相关图序列偏自相关图拟合模型识别n自相关图显示延迟3阶之后，自相关系数全部衰减到2倍标准差范围内波动，这表明序列明显地短期相关。但序列由显著非零的相关系数衰减为小值波动的过程相当连续，相当缓慢，该自相关系数可视为不截尾 n偏自相关图显示除了延迟1阶的偏自相关系数显著大于2倍标准差之外，其它的偏自相关系数都在2倍标准差范围内作小值随机波动，而且由非零相关系数衰减为小值波动的过程非常突然，所以该偏自相关系数可视为一阶截尾 n所以可以考虑拟合模型为AR(1)例3.8美国科罗拉多州某一加油站连续57天的OVERSHORT序列 序列自相关图序列偏自相关图拟合模型识别n自相关图显示除了延迟1阶的自相关系数在2倍标准差范围之外，其它阶数的自相关系数都在2倍标准差范围内波动。根据这个特点可以判断该序列具有短期相关性，进一步确定序列平稳。同时，可以认为该序列自相关系数1阶截尾n偏自相关系数显示出典型非截尾的性质。n综合该序列自相关系数和偏自相关系数的性质，为拟合模型定阶为MA(1)例3.9n1880-1985全球气表平均温度改变值差分序列 序列自相关图序列偏自相关图拟合模型识别n自相关系数显示出不截尾的性质n偏自相关系数也显示出不截尾的性质n综合该序列自相关系数和偏自相关系数的性质，可以尝试使用ARMA(1,1)模型拟合该序列ARMA模型参数估计n一、模型参数的矩方法估计n二、最小二乘估计n三、极大似然估计n引：本章我们将讨论如下模型的参数估计：式中：xt是零均值平稳序列；为白噪声序列。待估计参数有：参数估计n待估参数n 个未知参数n常用估计方法n矩估计n极大似然估计n最小二乘估计一、模型参数的矩方法估计n（一）基本思路n矩方法估计就是利用样本自协方差函数或样本自相关函数对模型参数进行估计。类似于数理统计中采用的矩方法估计。n假设序列xt是ARMA(p,q)序列，那么xt的自协方差函数 或自相关函数 可由模型参数 表达出来。n 估计时，将公式中的 、换成 、，解方程组即可求出参数的矩估计值：矩估计n样本自相关系数估计总体自相关系数n样本一阶均值估计总体均值，样本方差估计总体方差n（二）AR(p)模型参数的矩估计n设序列xt经过模型识别，确定为AR(p)模型。n由第四章有如下结论：n于是可得如下的Yule-Walk方程：用 代替 ，并解上述方程组，就可得：n根据自协方差公式有：于是可得到 的矩估计：nAR(1)模型的矩估计例3.10:求AR(2)模型系数的矩估计nAR(2)模型nYule-Walker方程n矩估计（Yule-Walker方程的解）nMA(q)模型参数的矩估计n在前面已经推导出MA(q)的自协方差结果，将 代替 ，代替 (i=1,2q),得如下方程组：上式是含有q+1个参数的非线性方程组，解此方程组，即可以求出各参数：方程组可以直接求解，也可以用迭代法求解。例3.11:求MA(1)模型系数的矩估计nMA(1)模型n方程n矩估计例3.12:求ARMA(1,1)模型系数的矩估计nARMA(1,1)模型n方程n矩估计对矩估计的评价n优点n估计思想简单直观n不需要假设总体分布n计算量小（低阶模型场合）n缺点n信息浪费严重n只用到了p+q个样本自相关系数信息，其他信息都被忽略n估计精度差n通常矩估计方法被用作极大似然估计和最小二乘估计迭代计算的初始值 极大似然估计n(一)基本思想n设有平稳的ARMA(p,q)模型：n其中at 为白噪声，对于极大似然估计法，一般假定at为正态白噪声，即：n令 为总体参数向量。n假定观察到一个样本容量为n的样本：n计算联合概率密度：n它可大致看作已观察到具体样本的概率。最大似然估计就是求使这个样本最可能出现的参数向量：极大似然估计的估计精度一般较高，因此又称为精估计极大似然估计n在极大似然准则下，认为样本来自使该样本出现概率最大的总体。因此未知参数的极大似然估计就是使得似然函数（即联合密度函数）达到最大的参数值 似然方程n由于 和 都不是 的显式表达式。因而似然方程组实际上是由p+q+1个超越方程构成，通常需要经过复杂的迭代算法才能求出未知参数的极大似然估计值 对极大似然估计的评价n优点n极大似然估计充分应用了每一个观察值所提供的信息，因而它的估计精度高n同时还具有估计的一致性、渐近正态性和渐近有效性等许多优良的统计性质n缺点n需要假定总体分布最小二乘估计n基本思想：n考虑以下时序模型：n若et=at，即et为白噪声，此时模型为AR(P)模型，则前述四个假设都能满足。因此，对于AR(P)模型，用普通最小二乘法(OLS)估计的参数是无偏、一致估计。n若 ，此时模型为ARMA(p,q)模型或MA(q)(p=0时)模型，此时 et 不满足第3,4个条件，因此，对于ARMA模型和MA模型，普通最小二乘估计不是一致的估计。最小二乘估计n原理n使残差平方和达到最小的那组参数值即为最小二乘估计值 条件最小二乘估计n实际中最常用的参数估计方法n假设条件n残差平方和方程n解法n迭代法对最小二乘估计的评价n优点n最小二乘估计充分应用了每一个观察值所提供的信息，因而它的估计精度高n条件最小二乘估计方法使用率最高n缺点n需要假定总体分布例2.5续n确定1950年1998年北京市城乡居民定期储蓄比例序列拟合模型的口径 n拟合模型：AR(1)n估计方法：极大似然估计n模型口径例3.8续n确定美国科罗拉多州某一加油站连续57天的OVERSHORTS序列拟合模型的口径 n拟合模型：MA(1)n估计方法：条件最小二乘估计n模型口径例3.9续n确定1880-1985全球气表平均温度改变值差分序列拟合模型的口径 n拟合模型：ARMA(1,1)n估计方法：条件最小二乘估计n模型口径模型的诊断检验n一、模型的检验n二、模型的平稳性和可逆性分析模型检验n模型的显著性检验n整个模型对信息的提取是否充分n参数的显著性检验n模型结构是否最简模型的显著性检验n目的n检验模型的有效性（对信息的提取是否充分）n检验对象n残差序列n判定原则n一个好的拟合模型应该能够提取观察值序列中几乎所有的样本相关信息，即残差序列应该为白噪声序列 n反之，如果残差序列为非白噪声序列，那就意味着残差序列中还残留着相关信息未被提取，这就说明拟合模型不够有效假设条件n原假设：残差序列为白噪声序列n备择假设：残差序列为非白噪声序列检验统计量nQ统计量 nLB统计量 例2.5续n检验1950年1998年北京市城乡居民定期储蓄比例序列拟合模型的显著性 n残差白噪声序列检验结果延迟阶数LB统计量P值检验结论65.830.3229拟合模型显著有效1210.280.50501811.380.8361参数显著性检验n目的n检验每一个未知参数是否显著非零。删除不显著参数使模型结构最精简 n假设条件n检验统计量例2.5续n检验1950年1998年北京市城乡居民定期储蓄比例序列极大似然估计模型的参数是否显著 n参数检验结果检验参数t统计量P值结论均值46.120.0001显著6.720.0001显著例3.8续:对OVERSHORTS序列的拟合模型进行检验 n残差白噪声检验n参数显著性检验检验参数t统计量P值结论均值3.750.0004显著10.600.0001显著延迟阶数LB统计量P值结论63.150.6772模型显著有效129.050.6171例3.9续:对1880-1985全球气表平均温度改变值差分序列拟合模型进行检验 n残差白噪声检验n参数显著性检验检验参数t统计量P值结论16.34F，则拒绝原假设，说明两模型差异是显著的，此时模型阶数存在升高的可能性。若FF，此不能拒绝原假设，说明两模型差异不显著，此时模型阶数存在降低的可能性。注：F检验定阶法的应用条件：两模型中有一个为合适模型。三、最佳准则函数定法n 最佳准则函数法，即确定出一个准则函数，该函数既要考虑某一模型拟合时对原始数据的接近程度，同时又要考虑模型中所含待定参数的个数。n 建模时，使准则函数达到使准则函数达到极小极小的是最佳模型。的是最佳模型。nAIC 准则(Akaike iformation criterion)nAIC准则是1973年由赤池（Akaike）提出，用来识别ARMA模型的阶数。赤池的AIC准则和BIC准则n最小信息量准则n指导思想n似然函数值越大越好 n未知参数的个数越少越好 AIC准则函数为：式中，M为模型中参数的个数。AIC的简化式为：简化式由将对数似然函数展开，并将其中的常数项2去掉得到。式中：是残差方差 的极大似然估计值。柴田（Shibata）1976年证明AIC有过分估计自回归参数的倾向，于是Akaike又提出了AIC方法的贝叶斯扩展，即BIC。BIC准则函数为：式中：C为常数。余同前。BIC准则n此准则1978年由Schwarz提出，被称为SBC(Schwartzs Bayesian criterion)。n准则函数：简化式为：施瓦茨(Schwarz)的SC准则例3.13续n用AIC准则和SBC准则评判例3.13中两个拟合模型的相对优劣 n结果nAR(1)优于MA(2)模型AICSBCMA(2)536.4556543.2011AR(1)535.7896540.2866n前面介绍的几种定阶方法对于AR模型和MA模型还比较有效，但对于混合的ARMA模型定阶，并不方便，1984年Tiao(刁锦寰)和Tsay提出了可鉴定ARMA模型阶数的延伸自相关函数法（EACF）。建模的其它方法n一、Pandit-Wu建模方法的基本思想n二、建模步骤一、Pandit-Wu建模方法的基本思想nPandit-Wu建模方法以下面认识为依据：即任一平稳序列总可以用一个ARMA(p,p-1)模型来表示，而AR(p)，MA(q)以及ARMA(p,q)都可看作是ARMA(p,p-1)模型的特例。nPandit-Wu方法的基本思想为：逐渐增加模型的阶数，拟合较高阶的ARMA(p,p-1)模型，直到再增加模型的阶数而剩余平方和不显著减少为止。二、建模步骤n(1)将序列平稳化、零均值化(也可将均值作为一个参数估计)。n(2)从p=1开始，逐渐增加模型阶数，拟合ARMA(2p,2p-1)，并进行模型的适性检验。n(3)选择最优模型。