(完整版)8-第五章大数定律和中心极限定理解析

(完整版)8-第五章大数定律和中心极限定理解析第五章大数定律和中心极限定理大数定律和中心极限定理是概率论中两类极限定理的统称，前者是从理论上证明随机现象的“频率稳定性”,并进一步推广到“算术平均值法则”；而后者证明了独立随机变量标准化和的极限分布是正态分布或近似正态分布问题，这两类极限定理揭示了随机现象的重要统计规律，在理论和应用上都有很重要的意义。5。1大数定律设X1,X2,Xn,是互相独立的一列随机变量，每个随机变量取值于二元集合0，1，并有相同的概率分布函数PXj 0 q,易计算它们的数学期望和方差为PXj1 p,pq 1E(Xj)p,如果取这些Xj的部分和D(Xj)pqSn X1 X2 Xn并考虑它们的平均值Sn/n (Xj)/n，易知它的数学期望和方差为j1n SEnn p;SDnnpqn利用定理 4。2。13 给出的切比雪夫不等式可知：对任何一个正数t有 SpqPn p t2nt n令n ，有 SpqlimPn p t lim2 0nnnt n即 SlimPn p t 0（5.1.1)nn可见当n很大时，部分和的平均值Sn/n与p相距超过任何一个数t 0的概率都很小，而当n 时，这个概率趋于 0.（5.1.1）式的结果称为弱大数定律，也称伯努利大数定律,因为这个定律是伯努利在 1713 年首先证明的，是从理论上证明随机现象的频率具有稳定性的第一个定律。注意式(5.1。1）等价于 SlimPn p t1（5.1.2）nn166(完整版)8-第五章大数定律和中心极限定理解析把它完整地叙述如以下定理：定理 5。1.1（伯努利大数定律）设X1,X2,Xn,是互相独立的取值于二元集合0，1的一列随机变量，并有相同的概率分布函数PXj 0 q,PXj1 p,pq 1又设Sn X1 X2 Xn S则limPn p t 0nn或等价地 SlimPn p t1。nn伯努利大数定律说明了概率论中一个重要的事实,设p是伯努利试验中事件A出现的概率,则Sn是n重伯努利试验中事件A发生的次数，Sn/n是事件A出现的相对频率，当n很大时事件A出现的相对频率与事件A出现的概率p的偏差超过任何一个正数t的可能性很小。“概率很小的随机事件在个别事件中是几乎不可能发生的这一原理称为小概率事件的实际几乎不可能原理，有广泛的应用，至于“小概率”小到什么程度才能看作实际上几乎不可能发生，则要视具体情况而定。例如，自动车床加工零件出现次品的概率为 0。01，若零件的重要性不大且价格很低，则完全允许有 1的次品率,可以忽视 100 个零件中出现一个次品的可能性。但对于飞机或更昂贵的航天器来说,出现次品的概率应当几乎为零，1%的次品率是绝对不允许的。伯努利大数定律提供了通过试验来确定事件的概率的方法.既然相对频率Sn/n与事件出现的概率p有较大偏差的可能性很小，因此在实践中可以通过做试验确定某事件出现的相对频率作为该事件出现的概率的近似估计，这种方法称为参数估计,它是数理统计中的重要方法，它的一个重要理论基础就是大数定律。伯努利大数定律可以推广为以下形式的弱大数定律。定理 5。1。2（弱大数定律）设X1,X2,Xn,是互相独立的一列随机变量，并有相同的概率分布函数,它们公共的数学期望和方差为E(Xj)a,设Sn X1 X2 Xn,则D(Xj)2 S则limPna t 0（5。1.3）nn或等价地 SlimPna t1。(5.1.4)nn对任何t 0成立。167(完整版)8-第五章大数定律和中心极限定理解析该定理的证明可以利用定理 4.2。13 给出的切比雪夫不等式类似伯努利大数定律证之,把它留给读者.本定律使算术平均值的法则有了理论依据，比如要测量某个物理量a，在客观条件不变的情况下重复测量n次，得到n个测量值X1,X2,Xn，显然可以把它们看作n个独立同分布的随机变量,有数学期望a，由大数定律知,当n充分大时,n次测量的平均值可作为a的近似估计,即a X1 X2 Xn,n由此所产生的误差很小。弱大数定律可以进一步推广为以下形式的切比雪夫大数定律。定理 5。1。3（切比雪夫弱大数定律)设X1,X2,Xn,是互相独立的一列随机变量，每一个随机变量都有数学期望E(Xj)和有限方差D(Xj),j 1,2,，并且它们有公共的上界D(Xj)c，设Sn X1 X2 Xn，则对任何t 0有Sn1nE(Xj)t 0（5。1.5)limPnnnj1或等价地Sn1nE(Xj)t1（5。1。6)limPnnnj1证因X1,X2,Xn,互相独立，所以 SDnn S又因为Enn12nD(Xn)i1n1cnc n2n1nE(Xn),由切比雪夫不等式可得ni1 SnD Sn1ncnPE(Xn)t22,tntnni1令n ,有 Sn1nlimPE(Xn)t 0.nnni1由俄国数学家切比雪夫证明的上述定律是关于大数定律的一个相当普遍的结论，前两个弱大数定律都是它的特例。弱大数定律涉及一列概率的收敛性,此种收敛称为依概率收敛，定义如下：定义 5.1。4设Y1,Y2,Yn,是互相独立的一列随机变量，a是一个常数，如果对任意正数，有limPYna 0,(5。1.7）n168(完整版)8-第五章大数定律和中心极限定理解析或等价地limPYna 1,(5。1。8)n则称序列Y1,Y2,Yn,依概率收敛于a。依概率收敛的更一般的定义如下：定义 5。1。5（依概率收敛)设Y1,Y2,Yn,是一列随机变量，Y是一个随机变量,如果对任意正数，有limPYnY 0,（5.1。9)n或等价地limPYnY 1,(5。1。10)n则称序列Y1,Y2,Yn,依概率收敛于Y。通常记为YnY。弱定律只涉及一列概率的收敛性,对应地一个强定律则给出了一列随机变量的极限情况，它涉及的收敛性为几乎处处收敛,或依概率 1 收敛，其定义如下：定义 5.1。6设Y1,Y2,Yn,是互相独立的一列随机变量，a是一个常数，如果对任意正数,有PP lim Yna 0,(5.1。11）n或等价地P lim Yna 1,(5.1。12）n则称序列Y1,Y2,Yn,几乎处处收敛于a（或依概率 1 收敛于a).几乎处处收敛的更一般的定义如下：定义 5。1.7(几乎处处收敛）设Y1,Y2,Yn,是一列随机变量,Y是一个随机变量，如果对任意正数,有P lim YnY 0,（5.1。13）n或等价地P lim YnY 1,(5。1。14)n则称序列Y1,Y2,Yn,几乎处处收敛于Y（或依概率 1 收敛于Y）。通常记为YnY(a.e.).注几乎处处收敛的定义(5.1.13）和（5.1。14)与依概率收敛的定义中(5.1.9）和（5.1.10）形式上的区别是将极限号和概率符号交换了，但这却是本质上的区别,因为一般情况下是不能交换的。几乎处处收敛要强于依概率收敛，即若随机变量序列Y1,Y2,Yn,几乎处处收敛于Y，则必定也依概率收敛于Y。但反之不成立。在几乎处处收敛意义下的大数定律称为强大数定律，通常强定律的证明要比弱定律的证明困难得多，以下不给证明地给出强大数定律。169(完整版)8-第五章大数定律和中心极限定理解析定理 5。1。8(强大数定律）设X1,X2,Xn,是互相独立同分布的一列随机变量,有数学期望E(Xj)a和有限方差D(Xj)2,j 1,2,，设Sn X1 X2 Xn,则对任何t 0有SPlimna t 0 (5.1.15）nn或等价地SPlimna t1 (5。1。16）nn注意弱大数定律和强大数定律的区别不仅仅是一个法则的不同，不能简单地把极限号lim从概率号Pn中移出来,这两个定律描述的是相当不同的事情，弱定律描述的是一列概率的收敛性，而强大数定律说的是一列随机变量Sn/n收敛到一个常数a。正是强大数定律最有力地保证了用事件出现的相对频率作为事件出现概率的估计的正确性。下面举一个信息论中应用的例子说明大数定律的重要性。定理 5.1.9设X1,X2,Xn,是互相独立同分布、取值于同一个有限字母集x1,x2,xn的一列随机变量，它们的公共分布记为p(x)p(x1),p(x2),p(xn)，则依概率收敛的意义下有1limln p(X1,X2,nn其中,Xn)H(X)H(X)p(xi)ln p(xi)i1n称为分布p(x)的熵，当式中对数是以2 为底时，熵的单位为比特（bit），当式中对数是以e 为底的自然对数时，熵的单位为奈特（nat）.证设Yn log Xn，由于X1,X2,Xn,是互相独立同分布，它们的函数Y1,Y2,Yn,也是互相独立同分布的随机变量,1ln p(X1,X2,n1n1n,Xn)ln p(Xi)Yini1ni11n根据大数定律，Yi依概率收敛到Yi的数学期望ni1170(完整版)8-第五章大数定律和中心极限定理解析ElnYi Eln Xi p(xi)ln p(xi)i1n这里用到了求随机变量函数数学期望的(4。1。3）式，由此定理得证。这个定理称为熵定理，在信息论和数据压缩中有重要应用。以上介绍了概率论中的两种重要的收敛性：依概率收敛和几乎处处收敛，下面再简要介绍概率论中另外两种常见的收敛性：依分布收敛和矩收敛。定义 5。1。10（分布函数弱收敛）设Fn(x),n 1,2,是一列分布函数，如果存在一个非降函数F(x)，对它的每个连续点x，都有limFn(x)F(x)n则称分布函数列Fn(x),n 1,2,弱收敛于F(x),记为Fn(x)F(x)。定义 5。1.11（依分布收敛）设随机变量序列Yn,n 1,2,和随机变量Y的分布分别为Fn(x),n 1,2,和F(x)，如果Fn(x),n 1,2,弱收敛于F(x),则称Yn,n 1,2,依分布收敛于Y，记为YnY。定义 5.1.12（矩收敛)设对随机变量序列Yn,n 1,2,和随机变量Y有LWE Yn其中r 0为常数，如果 ,EY,rrlimE YnYnr 0r则称随机变量序列Yn,n 1,2,r 阶矩收敛于随机变量Y，YnY.在r 阶矩收敛中最重要的是r 2的情形，这时称为均方收敛。以上介绍了随机变量序列的 4 种收敛性,它们之间有什么关系呢,哪种强一些，哪种弱一些呢？下面用图5。1 表示它们的关系：YnY(a.e.)rPLYnY（r 0)YnYYnY图 5.1随机变量序列的四种收敛性的关系其中“A B表示由命题 A 可以推出命题 B，上述逆命题一般不成立。此外在“r 阶矩收敛”和“几乎处处收敛”之间不存在确定的隐含关系。以上各种收敛性的关系的证明以及逆命题不成立的例子已超出本书范围,读者可以参考有关的文献或教材。5。2中心极限定理在 5。1 节中讨论的大数定律虽然证实了“频率的稳定性”，但并未给出独立随机变量和的分布是什么，而这正是本节要讨论的问题,这个问题就引出了概率论中最重要的一类定理称之为中心极限定理，这类定理有很多推广的或一般化的形式，这里只讨论其中一种适合于大多数应用情形的形式.171(完整版)8-第五章大数定律和中心极限定理解析为了描述问题，设X1,X2,Xn,是互相独立同分布的一列随机变量，有数学期望E(Xj)a和有限方差D(Xj)2,j 1,2,，且每个Xj的矩母函数在 0 点的一个邻域中都存在，考虑部分和SnX1X2Xn，中心极限定理说明了当n充分大时，无论各个Xj的分布是什么，这个部分和的分布是近似正态的.显然这个结论是十分重要的，因为在概率统计和实际应用中会经常遇到这种独立随机变量和的情形。为了严格地描述上述结论，考虑Sn的标准化变量。因为E(Sn)na,D(Sn)2，标准化后的随机变量ZnSnE(Sn)D(Sn)Snnan(X1a)(X2a)n(Xna)有数学期望 0 和方差 1。定理 5。2.1（中心极限定理)设Zn的分布函数为Fn(x),则1limFn(x)limP Znxnn2（右式即是标准正态分布的分布函数）。证只给出证明的主要思路。xeu/2du (5.2。1)2设M(t)为标准化随机变量(Zia)/的矩母函数，则t2t3M(t)E e1t22!33!2322(iii)(iv)tttt131t3R(t)112tR(t)23!22(i)t(Xia)/(ii)其中（i）是矩母函数的定义，（ii）利用泰勒展开，（iii)是因为标准化后的随机变量有数学期望 0 和方差 1，(iv）右端的t3R(t)代表幂次为t3及以上的所有项的和（将公因子t3提出来）。在定理的假设条件下，R(t)在t0附近是连续有界的.现在设Mn(t)为Zn的矩母函数，则Mn(t)E etZnE eE et(X1a)(X2a)(Xna)/(n)t(Xna)/(n)t(X1a)/(n)E et(X2a)/(n)E e利用Xj们的独立性和数学期望的线性性可得Mn(t)M(t/n)M(t/n)nM(t/n)nt22t1R(t/n)M(t/n)12nn172(完整版)8-第五章大数定律和中心极限定理解析对每个固定的t，(2t/n)R(t/n)小于 1,从而当n 时趋于 0；又因为当n 时，2tR(t/n)趋于2tR(0)，从而是有界的。因此当n 时，(2t/n)R(t/n)这项充分小，可以忽略不计，于是可以简记t2Mn(t)1（5.2.2）2n由微积分中众所周知的结果nnx lim1 exnn用于(5.2。2）式可得lim Mn(t)ent2/2右式就是标准正态分布的矩母函数。注意到在证明过程中用到了“当n 时，(2t/n)R(t/n)这项充分小,可以忽略不计”这个结论,事实上只要通过更精细但并不太困难的推导，可以得到(2t/n)R(t/n)这项的上界估计，这里把这个过程省略了。此外，也要注意为使中心极限定理成立，各个Xj须满足的不太强的条件，即它们的矩母函数要存在，否则就不能保证结论的正确性。中心极限定理说明了当n充分大时,无论各个Xj的分布是什么，这个部分和的分布是近似正态的.为更直观地了解Zn的极限分布趋于正态分布的情况，下面举一个例子。例 5.2。1设X1,X2,Xn,是互相独立的一列随机变量,每个都服从3 x 3上的均匀分布,易计算得它们的数学期望EXj 0，方差 DXj 1，考虑部分和Sn X1 X2 Xn，标准化后得Zn Sn/n，可以精确计算它的分布函数，图 5。2 显示了n 1,2,3及n 时分布的图形，最初它的分布远不是正态的，但随着n的增大而逐步趋向正态。173(完整版)8-第五章大数定律和中心极限定理解析n 1Z1的分布密度n 2Z2的分布密度n 3正态分布密度Z3的分布密度图 5.2n 1,2,3及n 时分布的图形定理 5.2。2（棣美弗-拉普拉斯（DeMoivre-Laplace）定理）设随机变量Yn(n 1,2,)服从二项分布B(n,p)，则对于任意区间(a,b),恒有bYnnp1t2limPa bedta2nnp(1 p)证由于服从二项分布的随机变量Yn可以看作n个相互独立的、服从同一参数p的两点分布的随机变量，即2Yn X1 X2 Xn,其中E(Xi)p,D(Xi)pq,i 1,2,n,q 1 p，由定理 5.2.1 可得nX npt2iYnnpx1limP x limPi1 x e2dtnnnpq2npq于是对于任意区间(a,b)有bYnnp1t2 bedtlimPa annpq2此定理表明，正态分布是二项分布的极限分布,当n趋向无穷时，服从二项分布的随机变量Yn的概率计算可用正态分布的概率来近似。2174(完整版)8-第五章大数定律和中心极限定理解析PYn K1e2 npq(Knp)22npq;anpYnnpbnpbnpanpPa Yn b P npqnpqnpqnpqnpq例 5。2.2设有 2500 个同一年龄段和同一社会阶层的人参加了某保险公司的人寿保险，在一年中每个人死亡的概率为 0.002，每个人在年初向保险公司交纳保费 1200 元，而在死亡时家属可以从保险公司领到200000 元，问：（1）保险公司亏本的概率是多少？（2）保险公司获利不少于 1000000 元的概率是多少?用两种方法来讨论此题,以便让读者体会中心极限定理的一些用途。解法一通过二项分布的概率分布律求解，参见第二章例 2.3.3.当然要算出上述概率的精确值是困难的，以下可以用中心极限定理计算它们的近似值。解法二设X表示 2500 人中死亡人数，则X服从n 2500,p 0.002的二项分布，这时np 25000.002 5,npq 25000.0020.998 4.99（1）由解法一知P（保险公司亏本）=P（多于 15 人死亡)X 5145 PX 151 PX 141 P4.99 4.99 145 911 0.0000694.99 4.99(2）保险公司获利不少于 1000000 元意味着3000000200000 x 1000000,x 10,则P(保险公司获利不少于 1000000 元)=P（死亡人数不多于 10）X 5105 5 PX 10 P 0.98634.99 4.994.99 注意，在以上的计算中用到了中心极限定理作近似估计，请读者自己体会是怎么用的。下面再举一个金融方面的例子。例 5。2。3银行为支付某日即将到期的债券须准备一笔现金，已知这批债券共发放了 500 张，每张须付本息 1000 元，设持券人（一人一券)到期日到银行领取本息的概率为 0。4。问银行于该日应准备多少现金才能以 99.9%的把握满足客户的兑换.解设1,第i个持券人到期日去银行兑换Xi0,第i个持券人到期日不去银行兑换则该日到银行兑换的总人数为Xi，所需资金为1000Xi，为使银行能以 99。9%的把握满足客户的兑换，i1i1500500500即 要 求x，使 得PXi x 0.999。这 里Xi,i 1,2,500服 从 伯 努 利 分 布i1E(Xi)p 0.4,D(Xi)p(1 p)0.24,由中心极限定理知175(完整版)8-第五章大数定律和中心极限定理解析500X 200ix200500 x200i1 PXi x P 0.999120120 120 i1查表得例 5.2。4电视台作某节目A收视率的调查,在每天节目A播出时随机地向当地居民打电话，问是否在看电视，如在看电视,再问是否在看节目A，设回答在看电视的居民数为n，问为保证以 95的概率使调查误差在 1之内，n应取多大?解设Yn为回答看电视的居民中在收看节目A的人数，要估计的收视率设为p,要求n使x 200120 3.1,x 233.96。所以银行只须准备234000 元就能以 99。9%的把握满足客户的兑换。YnP p 0.1n 0.95略作变换可得Y np Ynnpnnn0.95 P 0.1 P P X npqn10pq10pq其中X是服从标准正态分布N(0,1)的随机变量,查表可得n10pq或者1.96n 19.6pq2现在的问题是如何确定pq。定义函数h(p)p(1 p)pq则 其 导 数h(p)12p，当p 1/2时h(p)0，易 证 这 时h(p)1/4达 到 最 大 值，即 意 味 着119.62 pq 19.62 96.04，所以n 96.04，取n 97就足够了.45。3阅读材料:股票瞬时价格的分布股票的价格运动有无规律性是金融中的一个基本问题，股票价格的随机游动理论在金融数学中有着重要意义，它的基本思想是概率论思想应用的一个范例。以下简单作一介绍。t 设某股票初始时刻的价格为S0,考察它在时段0,t间的变化，将该时段分成长度为的n 等分,并176(完整版)8-第五章大数定律和中心极限定理解析记S1,S2,为,Sn为在各小时段末股票的价格,即Si为在时刻i股票的价格,则股票在t时刻的对数收益率X lnSn（5.3。1）S0或等价地St Sn S0eX（5。3。2）X可以表示为nnSnS(n1)SSnSiX ln lnlnXiS0S(n1)SS0S(i1)i1i1其中Xi lnSiS(i1)为股票在第i个小时段(i1),i的对数收益率，如果假设它们是独立同分布，有公共的2,i 1,2,均值E(Xi)和有限方差D(Xi),n，由中心极限定理知，当n充分大时，无论各个Xi的分布是什么，它们的和X的分布是近似正态的，更严格地说，考虑X的标准化变量，由独立性假设可得,2E(X)E(Xi)n,D(X)D(Xi)ni1i1nn标准化后的随机变量Z X E(X)X nD(X)n0近似地服从标准正态分布N(0,1)。通过在概率论中某种收敛意义下的极限，极限limZ服从正态分布，进而得到股票在t时刻的瞬时价格St limSn0由此可以得到结论：由（5.3。2)式知股票在t时刻的瞬时价格St本身不服从正态分布，但价格的对数服从正态分布，用连续时间金融的术语来说，就是服从(带漂移的）布朗运动，有兴趣的读者可以参考相关的文献.习题五1生产灯泡的合格率为 0.6，求 10000 个灯泡中合格灯泡数在 5800 到 6200 的概率。2某地区种植某种农作物，根据统计求得平均亩产是 412 斤,产量的均方差D(X)16斤，估计亩产与412 近的偏差不大于 47 斤的概率。3设供电站供应某地区 10000 户居民用电，各用户情况相互独立，已知每户用电量（单位:度）在0,20上均匀分布，求：（1）这 10000 户居民每日总用电量超过 101000 度的概率.（2）要有 0.99 的概率保证该地区居民供应电量的需要,问供电站每天至少需向该地区供应多少度电?4一个复杂系统由 100 个相互独立起作用的部件所组成,在整个运行期间每个部件损坏的概率为 0。1，为使整个系统正常运行至少需要 85 个部件工作，求整个系统正常工作的概率。177(完整版)8-第五章大数定律和中心极限定理解析5抽样检查产品质量时，如果发现次品多于10 个，则认为这批产品不能接受，应检查多少产品才能使次品率为 10的一批产品能被接受的概率达 0.9。1006设独立随机变量X1,X2,X100都服从参数为1的泊松分布，试计算概率PXi120。i17计算机在进行加法时，每个加数按四舍五入取为最为接近的整数,设每个加数的取整误差是互相独立的，它们都服从均匀分布U0.5,0.5，现有 300 个加数相加，求误差总和绝对值超过 15 的概率。8 某商店负责供应某地区 1000 人的某种商品，设该商品在一段时间内每人需用一件的概率为 0.6,并假设这段时间内各人购买与否彼此无关，问商店应准备多少这种商品才能以99.7的概率保证商品不脱销？9现有一大批种子,其中良种占 1/6，今从中任意选 6000 粒，试问在这些种子中，良种所占的比例与1/6 相差小于 1的概率是多少?10设某种集成电路出厂时一级品率为0。7，装配一台仪器需要100 只一级品集成电路，问购置多少只才能以 99.9的概率保证装配该仪器时够用(不致因一级品不够而影响工作）？11某运输公司有 500 辆汽车参加保险，在一年里汽车出事故的概率为 0.006，参加保险的汽车每年交保险费 800 元，若出事故保险公司最多赔偿50000 元，试利用中心极限定理计算，保险公司一年赚钱不小于200000 元的概率。178