《Probability》PPT课件.ppt

第1章 概率基础 Probability Base,数理统计课题组,本章大纲,1.1 概率分布与分布的特征 1.2 常见的统计分布 1.3 样本与抽样分布,1.1 概率分布与分布的特征 (Probability distributions and distribution characteristics),1.1.1 联合分布 1.1.2 随机变量函数的分布 1.1.3 条件数学期望 1.1.4 矩母函数,1.1 概率分布与分布的特征 1.1.1 联合分布(Joint Distribution),联合分布函数：设X1, X2, Xn是n个随机变量， 对给定的n个实数x1, x2, xn ,称 F(x1, x2, xn)=P (X1 x1, X2 x2, Xn xn) 为其联合分布函数。,1.1 概率分布与分布的特征 1.1.1 联合分布(Joint Distribution),离散型：联合概率函数 p(x1, x2, xn)=P (X1= x1, X2=x2, Xn = xn),则称f (x1, x2, xn )为其联合概率密度函数,连续型：联合概率密度函数 如果存在n维非负可积函数f (x1, x2, xn )，使得,1.1 概率分布与分布的特征 1.1.1 联合分布(Joint Distribution),边缘分布函数：设X1, X2, Xn是n个随机变量， F(X1, X2, Xn)为其n维联合分布函数，对正整数 1 k n，称 F 1,2,k(X1, X2, , Xk) =F(x1, x2, , xk,+,+) =P (X1 x1, X2 x2, Xk xk , Xk+1 +, Xn + ) 为k维边缘分布，这样的边缘分布有 个。,1.1.1 联合分布(Joint Distribution) 【例1.1】 多项分布（Multinomial Distribution),一个随机现象共有r种可能的结果，第i种结果出现的概率为pi。做n次独立重复实验，以Ni记第i种结果出现的次数，则对给定的r个非负整数n1,n2, ,nr(n1+n2+nr =n),有,称为多项分布（ r 项分布）,1.1.1 联合分布(Joint Distribution) 【例1.1】 多项分布（Multinomial Distribution),由于N1+N2+Nr =n,所以r 项分布实际是r-1维的，可以改记为,显然二项分布是多项分布的边缘分布,1.1.1 联合分布(Joint Distribution) 【例1.2】 Farlie-Morgenstern Family (P77-79),设F(x)和G(x)都是一维连续型分布函数（cdf）,可以证明，对任意-1a1， H(x,y)=F(x)G(y)1+ a1-F(x)1-G(y) 是二维连续型分布函数。 H(x,)=F(x)， H(,y)=G(y),取F(x)和G(x)都是0，1区间的均匀分布，此时 F(x)= x， 1x1； G(y)= y， 1y1；,1.1.1 联合分布(Joint Distribution) 【例1.2】 Farlie-Morgenstern Family (P77-79),对a=-1 H(x,y)=xy1-(1-x)(1-y) 二维密度函数为,注：当F(x)和G(x)都是0，1区间的均匀分布时，此时联合分布函数H(x,y)称为copula,可改记为C(x,y)。,1.1.1 联合分布(Joint Distribution) 【例1.2】 Farlie-Morgenstern Family (P77-79),1.1 概率分布与分布的特征 1.1.2 随机变量的函数的分布,设X1, X2, Xn是n个随机变量，fX1, X2, Xn (x1, x2, xn）是其联合密度函数。若 Y1=g1(X1, X2, Xn)，, Yn=gn(X1, X2, Xn) 是（ X1, X2, Xn ）与（ Y1, Y2, Yn ）的一一对应变换，其反变换 X1=h1(y1, y2, yn)，, Xn=hn(y1, y2, yn) 具有连续的一阶偏导数，则Y1, Y2, Yn 的联合密度函数为 fy1, y2, yn (y1, y2, yn)= fX1, X2, Xn (x1, x2, xn)| Jg-1 (x1, x2, xn)| 其中x1=h1(y1, y2, yn)，, xn=hn(y1, y2, yn),1.1 概率分布与分布的特征 1.1.2 随机变量的函数的分布,是雅可比（Jacobian）行列式,记,fy1, y2, yn (y1, y2, yn)= fX1, X2, Xn (x1, x2, xn)| Jh(y1, y2, yn)| 其中x1=h1(y1, y2, yn)，, xn=hn(y1, y2, yn),则,1.1.2 随机变量的函数的分布 例1.3 (P99-102),设X，Y是独立的N(0，1)随机变量，其联合密度为,做变换,逆变换,或由,fy1, y2, yn (y1, y2, yn)= fX1, X2, Xn (x1, x2, xn)| Jh(y1, y2, yn)| 其中x1=h1(y1, y2, yn)，, xn=hn(y1, y2, yn),1.1 概率分布与分布的特征 1.1.3 条件数学期望（Conditional Expection）,设给定X=x时Y的条件分布为FY|X(y|x),则称 E(Y| X=x)=yd FY|X(y|x) 为给定X=x时Y的条件期望。如果X的取值没有事先给定， 则E(Y| X)也是随机变量， 是X的函数。,离散型,连续型,Y的函数h(Y)的条件期望为 Eh(Y)| X=x=h(y)d FY|X(y|x),1.1.3 条件数学期望（Conditional Expection） 例1.4 P147,一个0，1区间的Possion过程平均发生次数为l，记N是0，1区间发生的总次数，对p 1，记X是0，p区间发生的次数，求给定N = n时X的条件分布和条件期望。,解,所以Y的条件期望为 np。,1.1.3 条件数学期望（Conditional Expection） 例1.5 P148,设X，Y是二维联合正态分布，由于,所以给定X=x时Y的条件期望为,问题 是什么,1.1.3 条件数学期望（Conditional Expectation） 全期望公式（Law of total expectation) P149,离散型为,证：,1.1.3 条件数学期望（Conditional Expection） 随机和(Random Sums) P150,其中N是与Xi相互独立的随机变量， Xi有相同的期望E(X),则,设 Xi有相同的方差VAR(X),则,1.1.3 条件数学期望（Conditional Expection） 方差公式 P151,证：,1.1 概率分布与分布的特征 1.1.4 矩母函数（Moment-generating function) P155,如果一个分布函数F(x)的矩母函数M(t)在包含0的一个开区间内存在，则两者是相互惟一确定的。,1.1 概率分布与分布的特征 1.1.4 矩母函数（mgf, Moment-generating function) P155,性质 A 如果一个分布函数F(x)的矩母函数M(t)在包含0的一个开区间内存在，则两者是相互惟一确定的。,性质 B 如果一个矩母函数M(t)在包含0的一个开区间内存在，则,1.1 概率分布与分布的特征 1.1.4 矩母函数（Moment-generating function) P155,性质 C 设 Y=a+bX,性质 D 设X和Y是独立随机变量, Z=X+Y, 则,1.1 概率分布与分布的特征 1.1.4 矩母函数（Moment-generating function) P155,常见分布的矩母函数,1.2 常见的统计分布,1.2.1 G分布 1.2.2 b分布 1.2.3 c2分布 1.2.3 t分布 1.2.4 F分布,1.2 常见的统计分布 1.2.1 G分布和c2分布 P53 P192,G(伽玛)分布的概率密度为,其中参数a0称为形状参数 （shape prameter） 参数l0称为规模参数 （scale prameter）,1.2 常见的统计分布 1.2.1 G分布和c2分布,其中 是G函数,性质1：,1.2 常见的统计分布 1.2.1 G分布和c2分布,性质2：G分布的矩母函数为,性质3：可加性。若Xi G(ai, l), i=1,2,n, 且相互独立，则,1.2 常见的统计分布 1.2.1 G分布和c2分布,性质4：若X G(a, l), 则lX G(a,1); 反之，若Y G(a, 1), 则 X/l G(a, l),性质5：当a=1时，G分布就是指数分布e(l),性质6：,时的G分布称为自由度为n的卡方分布，,记做,1.2 常见的统计分布 1.2.1 G分布和c2分布,性质7：若X1, X2, Xn iidN(0,1),则,证明：只须证明,再根据可加性即得,iid表示独立同分布（independent identical distribution）,1.2 常见的统计分布 1.2.2 b分布 P58,b分布的概率密度为,其中a0，b0是参数，当a=b=1时就是b分布就是U (0，1),1.2 常见的统计分布 1.2.2 b分布,是b函数,性质1：,性质2：设X G(a, l), X G(b, l), 相互独立，则,1.2 常见的统计分布 1.2.3 c2分布 P193,性质：当n =1时,若X1, X2, Xn iidN(0,1),则称 为自由度为n的卡方分布， 记做,于是得c2(n)的密度函数,再根据可加性即得,iid表示独立同分布（independent identical distribution）,由阿贝(Abbe) 于1863年首先给出，后来由海尔墨特(Hermert)和卡皮尔逊(KPearson) 分别于1875年和1900年推导出来 期望为：E(c2(n)=n，方差为：Var(c2(n)=2n,1.2 常见的统计分布 1.2.3 c2分布,1.2 常见的统计分布 1.2.4 t 分布 P193,设ZN(0,1),Uc2(n)，则,称为自由度为n 的t分布， 记为Tt(n),由统计学家费舍(R.A.Fisher) 提出的，以其姓氏的第一个字母来命名则 设若U为服从自由度为n1的2分布，即U2(n1)， V为服从自由度为n2的2分布，即V2(n2), 且U和V相互独立，则称 为服从自由度n1和n2的F分布，记为,1.2 常见的统计分布 1.2.5 F分布 P194,1.2 常见的统计分布 1.2.5 F分布,不同自由度的F分布,3. F分布的期望为,若FF(n1,n2)， 则1/FF(n2,n1),5. 若Tt(n)，则T2F(1,n),1.3 样本与抽样分布,1.3.1 样本均值的抽样分布 1.3.2 中心极限定理 1.3.3 样本方差的抽样分布,1.3.1 样本均值的抽样分布 (例题分析),若X1, X2, Xn iidN(m,s2), 则称X1, X2, Xn为正态分布N(m,s2)一个容量为n的简单随机样本,简称为样本。,样本均值 sample mean,样本方差 sample variance,1.3.1 样本均值的抽样分布 (例题分析),【例】设总体X的分布为 P(X=1)=P(X=2)=P(X=3)=P(X=4)=1/4,总体均值,方差,1.3.1 样本均值的抽样分布 (例题分析), 现从总体中抽取n2的简单随机样本，在重复抽样条件下，共有42=16个样本。所有样本的结果为,1.3.1 样本均值的抽样分布 (例题分析), 计算出各样本的均值，如下表。并给出样本均值的抽样分布,1.3.1 样本均值的抽样分布 (例题分析), = 2.5 2 =1.25,总体分布,1.3.1 样本均值的抽样分布 正态总体,样本均值 X 的抽样分布 当总体分布为正态分布N (,2 ) 时，则样本均值X 服从正态分布N(,2/n) ，其均值 仍为，方差为2/n,1.3.2 中心极限定理,中心极限定理 当总体分布不为正态分布或未知 时，但其均值和方差2都存在，则当n相当大时，样本均值X近似服从正态分布N(,2/n) ，其均值 仍为，方差为2/n。,1.3.2 中心极限定理,定理 设X1, X2, Xn 为正态分布N(m,s2)一个样本，则 与随机向量 相互独立。,1.3.3 样本方差的抽样分布 正态总体,证,推论 设X1, X2, Xn 为正态分布N(m,s2)一个样本，则 与S2相互独立。,1.3.3 样本方差的抽样分布 正态总体,定理,首先,再由,记做 W = U+ V,1.3.3 样本方差的抽样分布 正态总体,由,得,1.3.3 样本方差的抽样分布 正态总体,推论 对于正态总体的样本有,证,