平稳时间序列分析课件

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,第三章,平稳时间序列分析,1,本章结构,方法性工具,ARMA,模型,平稳序列建模,序列预测,2,3.1,方法性工具,差分运算,延迟算子,线性差分方程,3,差分运算,一阶差分,阶差分,步差分,4,延迟算子,延迟算子类似于一个时间指针，当前序列值乘以一个延迟算子，就相当于把当前序列值的时间向过去拨了一个时刻,记,B,为延迟算子，有,5,延迟算子的性质,6,用延迟算子表示差分运算,阶差分,步差分,7,线性差分方程,线性差分方程,齐次线性差分方程,8,齐次线性差分方程的解,特征方程,特征方程的根称为特征根，记作,齐次线性差分方程的通解,不相等实数根场合,有相等实根场合,复根场合,9,齐次线性差分方程的解,我们用迭代法求解差分方程的过程来揭示前面给出的齐次线性差分方程通解的实质。,考虑一阶差分方程,相应的通过特征方程求解为,可见，两种方法求得的解的形式是一致的。,10,齐次线性差分方程的解,考虑二阶差分方程,11,齐次线性差分方程的解,12,齐次线性差分方程的解,13,非齐次线性差分方程的解,非齐次线性差分方程的,特解,使非齐次线性差分方程成立的任意一个解,非齐次线性差分方程的通解,齐次线性差分方程的通解和非齐次线性差分方程的特解之和,14,3.2,ARMA,模型的性质,AR,模型（,Autoregressive Model）,MA,模型（,Moving Average Model）,ARMA,模型（,Autoregressive,Moving Average model,）,15,AR,模型,的定义,具有如下结构的模型称为 阶自回归模型，简记为,*,注意最后一项条件是,s,t,特别当 时，称为中心化 模型,16,AR(P)序列中心化变换,称 为 的中心化序列,，令,17,自回归系数多项式,引进延迟算子，中心化 模型又可以简记为,自回归系数多项式,*,注意这里连接各项的是减号,18,AR,模型平稳性判别,判别原因,要拟合一个平稳序列，所采用的拟合模型也应该是平稳的。,AR,模型是常用的平稳序列的拟合模型之一，但并非所有的,AR,模型都是平稳的,判别方法,特征根判别法,平稳域判别法,19,AR模型平稳性判别方法,特征根判别,AR(,p,),模型平稳的充要条件是它的,p,个特征根都在单位圆内,根据特征根和自回归系数多项式的根成倒数的性质，等价判别条件是该模型的自回归系数多项式的根都在单位圆外,平稳域判别,平稳域,20,AR模型平稳性特征根判别,21,AR模型平稳性特征根判别,22,AR模型平稳性特征根判别,书中,46,页和,47,页第一项有误,23,AR模型平稳性特征根判别,24,AR模型平稳性特征根判别,25,AR模型平稳性特征根判别,26,AR模型平稳性特征根判别,27,AR(1)模型平稳条件,28,AR(2)模型平稳条件,29,AR(2)模型平稳条件,30,AR(2)模型平稳条件,特征根,平稳域,31,例3.1,考察如下四个,模型的平稳性,32,例3.1平稳序列时序图,33,例3.1非平稳序列时序图,34,例3.1平稳性判别,模型,特征根判别,平稳域判别,结论,(1),平稳,(2),非,平稳,(3),平稳,(4),非,平稳,35,例3.1平稳性判别以(4)为例,36,例3.1平稳性判别以(4)为例,37,平稳AR模型的统计性质,均值,方差,协方差,自相关系数,偏自相关系数,38,均值,如果,AR(p),模型满足平稳性条件，则有,根据平稳序列均值为常数，且 为白噪声序列，有,推导出,39,Green函数定义,平稳AR模型的传递形式,40,Green,函数递推公式,原理,方法：待定系数法,递推公式,41,Green,函数递推公式推导,待定系数法。首先容易得出,G,0,=1,42,Green,函数递推公式推导,43,方差,平稳,AR,模型的传递形式,两边求方差得,平稳,AR,模型条件下，,G,j,呈负指数下降，因此 。从而说明平稳序列的方差有界，等于常数,44,例3.2 平稳AR(1)模型的方差,平稳,AR(1),模型的传递形式为,Green,函数为,平稳,AR(1),模型的方差,45,自协方差函数,在平稳,AR(p),模型两边同乘 ，再求期望,根据,得自协方差函数的递推公式,46,例3.3 平稳,AR(1),模型的自协方差,递推公式,平稳,AR(1),模型的方差为,自协方差函数的递推公式为,47,自相关系数,自相关系数的定义,平稳,AR(,p,),模型的自相关系数递推公式，也称尤尔,沃克,(Yule-Walker),方程,48,常用,AR,模型自相关系数递推公式,AR(1),模型,AR(2),模型,49,例3.4 平稳,AR(2),模型的自协方差,50,例3.4 平稳,AR(2),模型的自协方差,51,AR模型自相关系数的性质,拖尾性,呈负指数衰减,52,例3.5 考察如下,AR,模型的自相关图,53,例3.5 ,自相关系数按负指数单调收敛到零,54,例3.5 ,自相关系数呈正负相间地衰减,55,例3.5 ,自相关系数呈现出“伪周期”性衰减,56,例3.5 ,自相关系数不规则衰减,57,偏自相关系数,定义,3.3,对于,平稳,AR(,p,),序列,x,t,，所谓滞后,k,偏自相关系数就是指在给定中间,k,-1,个随机变量 的条件下，或者说，在剔除了中间,k,-1,个随机变量的干扰之后，,x,t-k,对,x,t,影响的相关度量。用数学语言描述就是,58,(1)偏自相关系数的计算,59,60,注意：,这里是“,k,阶自回归模型”，,k,+1,阶或,k,+n,阶,的模型都不可以。,k,阶自回归模型只能用于,计算“滞后,k,偏自相关系数”，不能用于计算滞后,k,-1,或,k,-n,偏执相关系数,。,61,(2),通过自相关系数计算偏自相关系数,62,63,64,(3),平稳,AR(,p,),模型的偏自相关系数,p,阶截尾,65,(3),平稳,AR(,p,),模型的偏自相关系数,p,阶截尾,66,例3.5续 考察如下,AR,模型的偏自相关图,67,例3.5 ,理论偏自相关系数,样本偏自相关图,68,例3.5 ,理论偏自相关系数,样本偏自相关图,69,例3.5 ,理论偏自相关系数,样本偏自相关图,70,例3.5 ,理论偏自相关系数,样本偏自相关系数图,71,MA,模型,的定义,具有如下结构的模型称为 阶移动平均模型，简记为,特别当 时，称为中心化 模型,72,移动平均系数多项式,引进延迟算子，中心化 模型又可以简记为,阶移动平均系数多项式,*,注意这里连接各项的是减号,73,MA模型的统计性质,常数均值,常数方差,74,MA模型的统计性质,自协方差函数,q,阶截尾,当,q,时，,MA(,q,),一定平稳,自相关系数,q,阶截尾,75,MA模型的统计性质,76,MA模型的统计性质,77,MA模型的统计性质,MA(2),模型的自协方差函数：,78,常用MA模型的自相关系数,MA(1)模型,MA(2)模型,79,MA模型的统计性质,偏自相关系数拖尾(证明在后面讲完MA模型逆函数时再讲),80,例3.6:考察如下,MA,模型的相关性质,81,MA模型的自相关系数截尾,82,MA模型的自相关系数截尾,83,MA模型的偏自相关系数拖尾,84,MA模型的偏自相关系数拖尾,85,MA模型的可逆性,MA,模型自相关系数的不唯一性,例3.6中不同的,MA,模型具有完全相同的自相关系数和偏自相关系数,86,可逆的定义,可逆,MA,模型定义,若一个,MA,模型能够表示称为收敛的,AR,模型形式，那么该,MA,模型称为可逆,MA,模型,可逆概念的重要性,一个自相关系数列唯一对应一个可逆,MA,模型。,87,可逆MA(1)模型,88,MA模型的可逆条件,推导过程与AR模型的平稳稳性条件类似,89,MA模型的可逆条件,MA(q),模型的可逆条件是：,MA(q),模型的特征根都在单位圆内,等价条件是移动平均系数多项式的根都在单位圆外,90,逆函数的递推公式,原理,方法：待定系数法,递推公式,91,逆函数的表达式(可以自己看),92,例3.6续:考察如下,MA,模型的可逆性,93,(1)(2),逆函数,逆转形式,94,(3)(4),逆函数,逆转形式,95,逆函数递推过程,注意：这里,1,2,的符号与模型里给出的符号相反,96,MA,模型偏自相关系数拖尾的证明,97,ARMA,模型,的定义,具有如下结构的模型称为自回归移动平均模型，简记为,特别当 时，称为中心化 模型,98,系数多项式,引进延迟算子，中心化 模型又可以简记为,阶自回归系数多项式,阶移动平均系数多项式,99,平稳条件与可逆条件,ARMA(p,q),模型的平稳条件,P,阶自回归系数多项式 的根都在单位圆外,即,ARMA(p,q),模型的平稳性完全由其自回归部分的平稳性决定,ARMA(p,q),模型的可逆条件,q,阶移动平均系数多项式 的根都在单位圆外,即,ARMA(p,q),模型的可逆性完全由其移动平均部分的可逆性决定,100,传递形式与逆转形式,传递形式,逆转形式,101,ARMA(p,q)模型的统计性质,均值,协方差,自相关系数,102,ARMA模型的相关性,由于ARMA模型可以转化为无穷阶移动平均模型，因此其自相关系数拖尾。,由于ARMA模型可以转化为无穷阶自回归模型，因此其偏自相关系数拖尾。,103,例3.7:考察ARMA模型的相关性,拟合模型,ARMA(1,1):,并直观地考察该模型自相关系数和偏自相关系数的性质。,104,自相关系数和偏自相关系数拖尾性,样本自相关图,样本偏自相关图,105,ARMA模型相关性特征,模型,自相关系数,偏自相关系数,AR(P),拖尾,P,阶截尾,MA(q),q,阶截尾,拖尾,ARMA(p,q),拖尾,拖尾,106,3.3,平稳序列建模,建模步骤,模型识别,参数估计,模型检验,模型优化,107,建模步骤,平,稳,非,白,噪,声,序,列,计,算,样,本,相,关,系,数,模型,识别,参数,估计,模型,检验,模,型,优,化,序,列,预,测,Y,N,108,计算样本相关系数,样本自相关系数,样本偏自相关系数,109,模型识别,基本原则,选择模型,拖尾,p,阶截,AR(,p,),q,阶截尾,拖尾,MA(,q,),拖尾,拖尾,ARMA(,p,q,),110,模型定阶的困难,由于样本的随机性，样本的相关系数不会呈现出理论截尾的完美情况，本应截尾的 或 仍会呈现出小值振荡的情况。,由于平稳时间序列通常都具有短期相关性，随着延迟阶数 ， 与 都会衰减至零值附近作小值波动。,当 或 在延迟若干阶之后衰减为小值波动时，什么情况下该看作为相关系数截尾，什么情况下该看作为相关系数在延迟若干阶之后正常衰减到零值附近作拖尾波动呢？实际上并没有绝对的标准，很大程度上是依靠主观经验。但可以参考近似分布。,111,样本相关系数的近似分布,Barlett,Quenouille,112,模型定阶经验方法,95的置信区间,模型定阶的经验方法,如果样本(偏)自相关系数在最初的,d,阶明显大于两倍标准差范围，而后几乎95,%,的自相关系数都落在2倍标准差的范围以内，,而且由非零自相关系数衰减为小值波动的过程非常突然。,这时，通常视为(偏)自相关系数截尾。截尾阶数为,d,。,113,例2.5续,选择合适的模型,ARMA,拟合,1950,年,1998,年北京市城乡居民定期储蓄比例序列。,114,序列自相关图,115,序列偏自相关图,116,拟合模型识别,自相关图显示延迟,3,阶之后，自相关系数全部衰减到,2,倍标准差范围内波动，这表明序列明显地短期相关。但序列由显著非零的相关系数衰减为小值波动的过程相当连续，相当缓慢，该自相关系数可视为不截尾,偏自相关图显示除了延迟,1,阶的偏自相关系数显著大于,2,倍标准差之外，其它的偏自相关系数都在,2,倍标准差范围内作小值随机波动，而且由非零相关系数衰减为小值波动的过程非常突然，所以该偏自相关系数可视为一阶截尾,所以可以考虑拟合模型为,AR(1),117,例3.8,美国科罗拉多州某一加油站连续,57,天的,OVERSHORT,序列,118,序列自相关图,119,序列偏自相关图,120,拟合模型识别,自相关图显示除了延迟,1,阶的自相关系数在,2,倍标准差范围之外，其它阶数的自相关系数都在,2,倍标准差范围内波动。根据这个特点可以判断该序列具有短期相关性，进一步确定序列平稳。同时，可以认为该序列自相关系数,1,阶截尾,偏自相关系数显示出典型非截尾的性质。,综合该序列自相关系数和偏自相关系数的性质，为拟合模型定阶为,MA(1),121,例3.9,1880-1985全球气表平均温度改变值差分序列,122,序列自相关图,123,序列偏自相关图,124,拟合模型识别,自相关系数显示出不截尾的性质,偏自相关系数也显示出不截尾的性质,综合该序列自相关系数和偏自相关系数的性质，可以尝试使用,ARMA(1,1),模型拟合该序列,125,参数估计,待估参数,个未知参数,常用估计方法,矩估计,极大似然估计,最小二乘估计,126,矩估计,原理,样本自相关系数估计总体自相关系数,样本一阶均值估计总体均值，样本方差估计总体方差,127,例3.10:求,AR(2),模型系数的矩估计,AR(2)模型,Yule-Walker方程,矩估计（Yule-Walker方程的解）,128,例3.11:求,MA(1),模型系数的矩估计,MA(1)模型,方程,矩估计,129,例3.12:求,ARMA(1,1),模型系数的矩估计,130,例3.12:求,ARMA(1,1),模型系数的矩估计,方程,矩估计,131,例3.12:求,ARMA(1,1),模型系数的矩估计,132,对矩估计的评价,优点,估计思想简单直观,不需要假设总体分布,计算量小（低阶模型场合）,缺点,信息浪费严重,只用到了,p+q,个样本自相关系数信息，其他信息都被忽略,估计精度差,通常,矩估计方法被用作极大似然估计和最小二乘估计迭代计算的初始值,133,极大似然估计,原理,在极大似然准则下，认为样本来自使该样本出现概率最大的总体。因此未知参数的极大似然估计就是使得似然函数（即联合密度函数）达到最大的参数值,极大似然估计要求已知总体分布函数，而现实情况是时间序列的总体分布通常是未知的。为了便于分析和计算，通常假设序列服从多元正态分布。,134,似然函数,135,似然方程,由于 和 都不是 的显式表达式。因而通常需要经过复杂的迭代算法才能求出未知参数的极大似然估计值,136,对极大似然估计的评价,优点,极大似然估计充分应用了每一个观察值所提供的信息，因而它的估计精度高,同时还具有估计的一致性、渐近正态性和渐近有效性等许多优良的统计性质,缺点,需要假定总体分布,137,最小二乘估计,原理,使残差平方和达到最小的那组参数值即为最小二乘估计值,解法：迭代法,138,条件最小二乘估计,实际中最常用的参数估计方法,假设条件,残差平方和方程,解法,迭代法,139,对最小二乘估计的评价,优点,最小二乘,估计充分应用了每一个观察值所提供的信息，因而它的估计精度高,条件最小二乘估计方法使用率最高,缺点,140,例2.5续,确定,1950,年,1998,年北京市城乡居民定期储蓄比例序列拟合模型的口径,拟合模型：,AR(1),估计方法：极大似然估计,模型口径,141,例2.5续,确定,1950,年,1998,年北京市城乡居民定期储蓄比例序列拟合模型的口径,拟合模型：,AR(1),估计方法：,EViews,对带有,AR,或,MA,的模型通常采用非线性最小二乘法估计，非线性最小二乘估计渐进等于极大似然估计且渐进有效。,模型口径,注意,EViews,输出结果中,ARMA,模型的常数项是均值而不是漂移项。,142,例2.5续,143,例3.8续,确定美国科罗拉多州某一加油站连续,57,天的,OVERSHORTS,序列拟合模型的口径,拟合模型：,MA(1),估计方法：条件最小二乘估计,模型口径,144,例3.8续,确定美国科罗拉多州某一加油站连续,57,天的,OVERSHORTS,序列拟合模型的口径,拟合模型：,MA(1),估计方法：,EViews,对带有,AR,或,MA,的模型通常采用非线性最小二乘法估计，非线性最小二乘估计渐进等于极大似然估计且渐进有效。,模型口径,145,例3.9续,确定1880-1985全球气表平均温度改变值差分序列拟合模型的口径,拟合模型：,ARMA(1,1),估计方法：条件最小二乘估计,模型口径,146,例3.9续,确定1880-1985全球气表平均温度改变值差分序列拟合模型的口径,拟合模型：,ARMA(1,1),估计方法：,EViews,对带有,AR,或,MA,的模型通常采用非线性最小二乘法估计，非线性最小二乘估计渐进等于极大似然估计且渐进有效。,模型口径,147,模型检验,平稳可逆性检验,模型的全部系数多项式（包括自回归、移动平均两部分）的根都必须在单位圆外,模型的显著性检验,整个模型对信息的提取是否充分,参数的显著性检验,模型结构是否最简,148,模型的显著性检验,目的,检验模型的有效性,（对信息的提取是否充分）,检验对象,残差序列,判定原则,一个好的拟合模型应该能够提取观察值序列中几乎所有的样本相关信息，即残差序列应该为白噪声序列,反之，如果残差序列为非白噪声序列，那就意味着残差序列中还残留着相关信息未被提取，这就说明拟合模型不够有效,模型的显著性检验即为残差序列的白噪声检验,149,假设条件,原假设：残差序列为白噪声序列,备择假设：残差序列为非白噪声序列,150,检验统计量,LB统计量,151,例2.5续,检验,1950,年,1998,年北京市城乡居民定期储蓄比例序列拟合模型的显著性,残差白噪声序列检验结果,延迟阶数,LB,统计量,P,值,检验结论,6,5.83,0.3229,拟合模型显著有效,12,10.28,0.5050,18,11.38,0.8361,152,例2.5续,EViews,153,参数显著性检验,目的,检验每一个未知参数是否显著非零。删除不显著参数使模型结构最精简,假设条件,检验统计量,154,例2.5续,检验,1950,年,1998,年北京市城乡居民定期储蓄比例序列极大似然估计模型的参数是否显著,参数检验结果,检验参数,t,统计量,P,值,结论,均值,46.12,0.0001,显著,6.72,0.0001,显著,155,例3.8续:,对,OVERSHORTS,序列的拟合模型进行检验,残差白噪声检验,参数显著性检验,检验参数,t,统计量,P,值,结论,均值,3.75,0.0004,显著,10.60,0.0001,显著,延迟阶数,LB,统计量,P,值,结论,6,3.15,0.6772,模型显著有效,12,9.05,0.6171,156,例3.9续:,对1880-1985全球气表平均温度改变值差分序列拟合模型进行检验,残差白噪声检验,参数显著性检验,检验参数,t,统计量,P,值,结论,16.34,0.0001,显著,3.5,0.0007,显著,延迟阶数,LB,统计量,P,值,结论,6,5.28,0.2595,模型显著有效,12,10.30,0.4247,157,模型优化,问题提出,当一个拟合模型通过了检验，说明在一定的置信水平下，该模型能有效地拟合观察值序列的波动，但这种有效模型并不是唯一的。,优化的目的,选择相对最优模型,158,例3.13:拟合某一化学序列,159,序列自相关图,160,序列偏自相关图,161,拟合模型一,根据自相关系数2阶截尾，拟合,MA(2),模型,参数估计,模型检验,模型显著有效,三参数均显著,162,拟合模型二,根据偏自相关系数1阶截尾，拟合,AR(1),模型,参数估计,模型检验,模型显著有效,两参数均显著,163,问题,同一个序列可以构造两个拟合模型，两个模型都显著有效，那么到底该选择哪个模型用于统计推断呢？,解决办法,确定适当的比较准则，构造适当的统计量，确定相对最优,164,AIC准则,最小信息量准则（,An Information Criterion,）,指导思想,似然函数值越大越好,未知参数的个数越少越好,AIC,统计量,165,SBC准则,AIC,准则的缺陷,在样本容量趋于无穷大时，由,AIC,准则选择的模型不收敛于真实模型，它通常比真实模型所含的未知参数个数要多,SBC,统计量,166,例3.13续,用,AIC,准则和,SBC,准则评判例,3.13,中两个拟合模型的相对优劣,结果,AR(1),优于,MA(2),模型,AIC,SBC,MA(2),536.4556,543.2011,AR(1),535.7896,540.2866,167,3.4 序列预测,均方误差,最小均方误差预测,预测误差,序列分解,AR(p),序列的预测,MA(q),序列的预测,ARMA(p,q),序列的预测,修正预测,168,序列预测-均方误差,时间序列分析的一个主要目的就是预测,平稳时间序列预测，就是根据所有已知历史信息 对序列未来某个时期 的发展水平作出估计,为了评价预测的有用性，需要给出一个,损失函数,来概括我们对预测偏离量的关注程度,常用的是被定义为,均方误差,的,二次损失函数,，,169,序列预测-最小均方误差预测,170,序列预测-最小均方误差预测,171,序列预测-最小均方误差预测,172,序列预测-预测误差,173,序列分解,预测误差,预测值,注：由于,t+1,t+k,期,值与,t,期之前的,x,值都不相关，因此条件期望值就等于期望值,174,AR(p)序列的预测,预测值,预测方差,正态假设下置信水平为,1-,的,置信区间,175,AR(p)序列的预测,根据,AR(p),模型定义,176,例3.14,已知某超市月销售额近似服从,AR(2),模型（单位：万元/每月）,今年第一季度该超市月销售额分别为：,101，96，97.2万元,请确定该超市第二季度每月销售额的95的置信区间,177,例3.14解：预测值计算,四月份,五月份,六月份,178,例3.14解：预测方差的计算,GREEN,函数,方差,179,例3.14解：置信区间,公式,【1.96,为正态假设下,0.975,置信度对应的分位数,】,估计结果,预测时期,95置信区间,四月份,（,85.36,，,108.88,）,五月份,（,83.72,，,111.15,）,六月份,（,81.84,，,113.35,）,180,例2.5:,北京市城乡居民定期储蓄比例序列拟合与预测图,【,上机课练习,】,181,MA(q)序列的预测,预测值,预测方差,182,MA(q)序列的预测,183,例3.15,已知某地区每年常驻人口数量近似服从,MA(3),模型（单位：万）：,最近3年的常驻人口数量及,一步,预测数量如下：,预测未来5年该地区常住人口的95置信区间,年份,统计人数,预测人数,2002,104,110,2003,108,100,2004,105,109,184,例3.15解：随机扰动项的计算,185,例3.15解：估计值的计算,186,例3.15解：预测方差的计算,187,例3.15解：置信区间的计算,预测年份,95置信区间,2005,（,99,，,119,）,2006,（,83,，,109,）,2007,（,87,，,115,）,2008,（,86,，,114,）,2009,（,86,，,114,）,188,ARMA(p,q)序列预测,预测值,预测方差,189,例3.16,已知,ARMA(1,1),模型为：,预测未来3期序列值的95的置信区间。,190,例3.16解：估计值的计算,191,例3.16解：预测方差的计算,Green,函数,方差,192,例3.16解：置信区间的计算,时期,95置信区间,101,（,0.136,，,0.332,）,102,（,0.087,，,0.287,）,103,（,0.049,，,0.251,）,193,修正预测,定义,所谓的修正预测就是研究如何利用新的信息去获得精度更高的预测值,方法,在新的信息量比较大时,把新信息加入到旧的信息中，重新拟合模型,在新的信息量很小时不重新拟合模型，只是将新的信息加入以修正预测值，提高预测精度,194,修正预测原理,在旧信息的基础上， 的预测值为,假设新获得一个观察值 ，则,的修正预测值为,修正预测误差为,预测方差为,195,一般情况,假设新获得,p,个观察值 ，则,的修正预测值为,修正预测误差为,预测方差为,196,例3.14续:假如,四月份的真实销售额为,100,万元，求二季度后两个月销售额的修正预测值,计算四月份的预测误差,计算修正预测值,计算修正方差,197,修正置信区间,预测时期,修正前置信区间,修正后置信区间,四月份,（,85.36,，,108.88,）,五月份,（,83.72,，,111.15,）,（,87.40,，,110.92,）,六月份,（,81.84,，,113.35,）,（,85.79,，,113.21,）,198,