随机变量的收敛性

*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,第五章：随机变量的收敛性,随机样本：,IID,样本 ，,统计量：对随机样本的概括,Y,为随机变量，,Y,的分布称为,统计量的采样分布,如：样本均值、样本方差、样本中值,收敛性：当,样本数量,n,趋向无穷大,时，统计量的变化,大样本理论、极限定理、渐近理论,对统计推断很重要,1,收敛性,主要讨论两种收敛性,依概率收敛,大数定律：样本均值依概率收敛于分布的期望,依分布收敛,中心极限定理：样本均值依分布收敛于正态分布,2,例1：依概率收敛,概率的频率解释：,随着观测次数,n,的增加，频率将会逐渐稳定到概率,设在一次观测中事件,A,发生的概率为,如果观测了,n,次，事件,A,发生了 次，则当,n,充分大时，,A,在次观测中发生的频率 逐渐稳定到概率,p,。,那么,不对,，若,则对于 ，总存在,当 时，有 成立,但若取,由于,即无论,N,多大,在,N,以后,总可能存在,n,使,所以 不可能在通常意义下收敛于,p,。,3,例,2,：依分布收敛,考虑随机序列 ，其中,直观：集中在,0,处，收敛到,0,但,（,Chebyshev,不等式）,4,两种收敛的定义,5.1,定义：令 为随机变量序列，,X,为另一随机变量，用,F,n,表示,X,n,的,CDF,，用,F,表示,X,的,CDF,1,、如果对每个 ，当 时，,则,X,n,依概率收敛,于,X,，记为 。,2,、如果对所有,F,的连续点,t,，有,则,X,n,依分布收敛,于,X,，记为 。,同教材上,5,两种收敛的定义,当极限分布为点分布时，表示为,依概率收敛：,依分布收敛：,6,其他收敛,还有一种收敛：均方收敛（,L,2,收敛，,converge to,X,in quadratic mean,）,对证明概率收敛很有用,当极限分布为点分布时，记为,对应还有：,L,1,收敛（,converge to,X,in,L,1,）,7,依概率收敛,随机变量序列 ，当对任意 ，,则称随机变量序列,几乎处处依概率收敛,到,X,（,converge almost surely to,X,），记为：,几乎处处收敛：比依概率收敛更强,其他收敛,或,或,8,各种收敛之间的关系,点分布，,c,为实数,L,1,almost surely,(,L,2,),反过来不成立！,Quadratic mean,probability,distribution,Point-mass distribution,9,例：伯努利大数定律,设在一次观测中事件,A,发生的概率为 ，如果观测了,n,次，事件,A,发生了 次，则当,n,充分大时，,A,在次观测中发生的频率 逐渐稳定到概率,p,。,即对于,，,表示当,n,充分大时,，,事件发生的频率 与其概率,p,存在较大偏差的可能性小。,10,例：,5.3,令,直观：集中在,0,处，收敛到,0,依概率收敛：,（,Chebyshev,不等式）,11,例：续,依分布收敛：令,F,表示,0,处的点分布函数，,Z,表示标准正态分布的随机变量,12,收敛的性质,13,弱大数定律（WLLN）,独立同分布（,IID,）的随机变量序列 ，,方差 ，则样本均值,依概率收敛,于期望 ，即对任意,称 为 的一致估计（一致性）,在定理条件下，当样本数目,n,无限增加时，随机样本均值将几乎变成一个常量,对样本方差呢？依概率收敛于方差,证明：根据,Cheyshev,不等式,14,样本方差依概率收敛于分布的方差,15,强大数定律（SLLN）,独立同分布（,IID,）的随机变量序列 ，,方差 ，则样本均值,几乎处处收敛,于期望 ，即对任意,16,例：大数定律,考虑抛硬币的问题，其中正面向上的概率为,p,，令 表示单次抛掷的输出（,0,或,1,）。因此,若共抛掷,n,次，正面向上的比率为 。根据大数定律，,但这并不意味着 在数值上等于,p,而是表示当,n,很大时，的分布紧围绕,p,令 ，若要求 ，则,n,至少为多少？,解：,17,中心极限定理,(Central Limit Theorem,CLT),独立同分布（,IID,）的随机变量序列,，则样本均值 近似服从期望为 方差为,的正态分布,，即,其中,Z,为标准正态分布,或,也记为,无论随机变量,X,为,何种类型的分布，只要满足定理条件，其样本均值就近似服从正态分布。,正态分布很重要,但近似的程度与原分布有关,大样本统计推理的理论基础,18,中心极限定理,中心极限定理试验,http:/:8080/skills/portal/resources/65995/67826/entryFile/swf/zhongxinjixian.htm,19,例：中心极限定理,每个计算机程序的错误的数目为,X,，,现有,125,个程序，用 表示各个程序中的错误的数目，求 的近似值,解：,20,中心极限定理的应用之一,二项概率的近似计算,设 是,n,重,贝努里试验中事件,A,发生的次数，则,，对任意 ，有,当,n,很大时，直接计算很困难。这时 如果不大（即,p,0.1,，,np,5,）或 不大，则可用,Poisson,分布来近似计算,21,中心极限定理的应用之一,二项概率的近似计算（续）,当,p,不太接近于,0,或,1,时，可根据,CLT,，,用正态分布来近似计算,根据,CLT,，,德莫弗,拉普拉斯定理,22,中心极限定理的应用之一,二项概率的近似计算（续）,例：已知红黄两种番茄杂交的第二代结红果的植株与结黄果的植株的比率为,3:1,，现种植杂交种,400,株，求结黄果植株介于,83,到,117,之间的概率。,由题意：任意一株杂交种或结红果或结黄果，只有两种可能性，且结黄果的概率,种植杂交种,400,株，相当于做了,400,次贝努里试验，记为,400,株杂交种结黄果的株数，则,当,n,=400,较大时，根据,CLT,，,23,中心极限定理的应用之一,二项概率的近似计算（续）,例：某单位内部有,260,架电话分机，每个分机有,4%,的时间要用外线通话。可以认为各个电话分机用不同外线是相互独立的。问：总机需备多少条外线才能以,95%,的把握保证各个分机在使用外线时不必等候？,一个分机使用外线的概率,260,个分机中同时使用外线的分机数,设总机确定的最少外线条数为,x,则根据,CLT,，,24,中心极限定理,标准差 通常不知道，可用样本标准差代替，中心极限定理仍成立，即,其中,25,中心极限定理,无论随机变量,X,为,何种类型的分布，只要满足定理条件，其样本均值就近似服从正态分布,但近似的程度与原分布有关,正态近似的程度：,Berry-Esseen,定理,若 ，则,还有中心极限定理得多变量版本,26,多元分布的中心极限定理,令 为,IID,随机向量，其中,协方差矩阵为 ，令样本均值向量为,则 。,，均值向量为,，其中,27,Delta方法,随机变量的变换的中心极限定理,假定 ，且,g,可导，,则,换句话说，,28,令 为,IID,，,其均值和方差（有限）分别为,则根据,CLT,：,假设,则利用,Delta,方法，有,例：,29,Delta方法,多元变量情况,假设 为随机向量序列，,且 ，,令 且,令 表示 时 的 值，假设 中的元素非,0,，则,30,例：,令 为,IID,随机向量，,其均值为 ，方差为,令 ，根据,CLT,：,定义 ，其中,所以,则,31,下节课内容：,作业：,Chp5,：第,2,、,4,、,6,、,9,、,13,题,模拟方法：随机采样（,Chp,24,）,32,