概率论与数理统计笔记

概率论与数理统计读书笔记第一章 概率论的基本概念1 随机试验1.对随机现象的观察、记录、试验统称为随机试验.2.随机试验的所有结果构成的集合称为的样本空间，记为， 称中的元素为基本事件或样本点.3.可以在相同的条件下进行相同的实验；每次实验的可能结果不止一个，并且能事先明确试验的所有可能结果；进行一次试验之前不能确定哪一个结果会实现.2.样本空间、随机事件1.对于随机试验，尽管在每次试验之前不能预知试验结果，但试验的所有可能结果组成的集合是已知的.我们将随机试验的所有可能结果组成的集合称为的样本空间，记为样本空间的元素，即的每个结果称为样本点.2.一般我们称的子集为的随机事件，当且仅当所包含的一个样本点发生称事件发生.如果将亦视作事件，则每次试验总是发生，故又称为必然事件。为方便起见，记为不可能事件，不包含任何样本点.3.若，则称事件包含事件，这指的是事件发生必导致事件的发生。若且，即，则称事件与事件相等.4.和事件5.当时，称事件与不相容的，或互斥的.这指事件与事件不能同时发生.基本事件是两两互不相容的.6. 7. 事件 A 的对立事件：设 A 表示事件 “A 出现”, 则“事件 A 不出现”称为事件 A 的对立事件或逆事件.事件间的运算规律：3.频率和概率1.记频率 反映了事件发生的频繁程度.2.频率的性质：3.当重复试验次数逐渐增大时，频率 呈现出稳定性，逐渐稳定于某个常数.这种“频率稳定性”即通常所说的统计规律性.我们让试验重复大量次数，计算频率 以它来表征事件发生可能性的大小是合适的. 随的增大渐趋稳定，记稳定值为. 的稳定值定义为的概率，记为.4.概率定义：设是随机试验，是它的样本空间.对于的每一个事件赋予一个实数，记为，称为事件的概率.满足下列条件:(1) 非负性：对于每一个事件,有(2) 规范性：对于必然事件,有(3) 可列可加性：设是两两相互不相容的事件，即对于，则有 ；5.概率定义推得的重要性质.（1）（2）有限可加性 若是两两互不相容的事件 则有（3）对于任一事件1（4）对于任一事件A有 (5) 4等可能概型（古典概型）1.当试验的样本空间只含有有限个元素，并且试验中每个基本事件发生的可能性相同，具有这样特点的试验是大量存在的，则称这种试验为等可能概型.它在概率论发展初期曾是主要的研究对象，所以也称为等可能概型.2. 即是等可能概型中事件的概率的计算公式.5.条件概率1. 条件概率定义：设是两个事件,且，称为在事件发生条件下事件发生的条件概率.2.符合条件概率的三个条件，即：（1）非负性 对于每一事件B, 有 （2）规范性 对于必然事件S，有 （3）可列可加性 设是两两互不相容的事件，则有3. 乘法定理：设，则有 推广: 一般设 为n个事件，且有.4.全概率公式：设试验的样本空间为，为的事件, 为的一个划分，且，则5.贝叶斯公式：设试验的样本空间为，为的事件, 为的一个划分，且，则6.独立性1.定义：设是两事件，如果满足等式，则称事件相互独立，简称独立.若,则相互独立与互不相容不能同时成立.2. 定理一：设是两事件，且>0，若相互独立，则=.反之亦然.3.定理二：若事件A与B相互独立则与，与，与也相互独立.4.推广定义：设是三个事件，如果满足等式,，,则称事件相互独立.5. 第二章 随机变量及其分布1. 随机变量1.定义：设随机试验的样本空间是定义在样本空间上的实值单值函数，称为随机变量.常见的两类随机变量.2.本书中一般以大写字母如表示随机变量，而以小写字母表示实数.2. 离散型随机变量及其分布律1.定义：有些随机变量，它全部可能取到的不相同的值是有限个或可列无限多个，这种随机变量称为离散型随机变量.2.定义：取值可数的随机变量为离散量.称为离散型随机变量X的分布律。满足如下两个条件：（1）（2）3.（01）分布设随机变量X只可能取0与1两个值,它的分布律是，则称 X 服从（01）分布或两点分布. （01）分布的分布律也可写成 4.设试验只有两个可能结果： 及, 则称为伯努利试验设，此时,将独立重复地进行n次，则称这一串重复的独立试验为n重伯努利试验.刚好是二项式的展开式中出现的那一项，故称随机变量服从参数的二项分布，记为.特别，当时二项分布化为，这就是（0-1）分布.5.泊松分布设随机变量X所有可能取值为0,1,2.而取各个值的概率为 .3.随机变量的分布函数1. 分布函数的定义设是一个连续随机变量，称为 的分布函数.是随机变量, 是自变量.由定义，对任意实数 ，随机点落在区间的概率为：.2. 分布函数性质即任一分布函数处处右连续.3.公式4.连续型随机变量及其概率密度1.如果对于随机变量的分布函数，存在非负函数，使对任意实数有，则称为连续型随机变量，其中函数称为的概率密度函数简称概率密度。在实际应用中遇到的基本上是离散型或连续型随机变量.2.概率密度性质：（1）（2） （3）对于任意实数， （4）若在点x处连续则有 3.均匀分布：设连续型随机变量具有概率密度=，则称在区间上服从均匀分布.记为.易知.4指数分布：设连续型随机变量具有概率密度 ，其中为常数，则称服从参数为的指数分布.易知.5 正态分布：设连续型随机变量具有概率密度， 则称X服从参数为的正态分布.特别的，当时，称X服从标准正态分布. 5.随机变量的函数分布定理：设随机变量X具有概率密度，又设函数处处可导且恒有，则Y=g(X)是连续型随机变量，其概率密度为 .第三章 多维随机变量及其分布1.二维随机变量1.设随机试验的样本空间为： 为定义在上的随机变量，由它们构成一个随机向量 ,叫二维随机向量或二维随机变量. 2.定义：设二维随机变量，对任意实数,二元函数,称为的(联合)概率分布函数. 二维随机变量分布函数的性质：（1）是变量和的不减函数，即对任意固定的，当时;对于任意固定的，当时.（2），且对于任意固定的，对于任意固定的,(3) =，=，即关于x右连续，关于y也右连续.(4) 对于任意，下述不等式成立: .如果二维随机变量全部可能取到的不相同的值是有限对或可列无限多对，则称是离散型的随机变量.3. 对于二维随机变量的分布函数.如果存在非负的函数使对于任意有,则称是连续型的二维随机变量，函数称为二维随机变量的概率密度，或称为随机变量和的联合概率密度.概率密度具有以下性质：（1） （2） (3) 设是平面上的区域，点落在内的概率为(4) 若在点连续 则有4. 两个常用的分布（1）均匀分布：定义设为闭区域面积为，若随机变量 的(联合)密度为： 则称: 服从上的均匀分布. (2)二维正态分布：若二维随机变量 的概率密度为：则称: 服从参数为m1、m2、s1、s2、r的二维正态分布.其中s1>0，s2>0，|r|£1是常数.记为： (m1、m2、s12、s22、r) .2.边缘分布1.二维随机变量作为一个整体，具有分布函数，而和都是随机变量，也有也有分布函数，将他们分别记为，依次称为二维随机变量关于和的边缘分布函数。边缘分布函数可以由的分布函数所确定，事实上=.2.是一个连续型随机变量，则其概率密度 和 分别称，为关于和关于的边缘概率密度函数.3. 离散型随机变量的边缘概率分布：3.条件分布1.定义:设使二维离散型随机变量，对于固定的，若有，则称，为在条件下随机变量的条件分布律。同样，对于固定的，若则称，为在条件下随机变量的条件分布律.2.定义：设二维随机变量的概率密度为，关于的边缘概率密度为.对于固定的，,则称为在的条件下的条件概率密度，记为. 称为在的条件下，的条件分布函数，记为即，类似的，可以定义和.3. 离散型随机变量的条件分布4.连续型随机变量的条件分布4.相互独立的随机变量 1.定义:设, , 分别为二维随机变量的(联合)分布函数和边缘分布函数，若对于所有有： ·，即：，则称与相互独立.2.定理 a. 相互独立 Û b.离散型随机变量相互独立充要条件是对于任意有： .5.两个随机变量函数的分布1. 的分布设的概率密度为，则分布函数为,由概率密度的定义，即得到的概率密度为,由的对称性，又可写成.特别，当和相互独立是，设边缘概率密度为，则上面两个公式可以化为，,这两个公式称为卷积公式，记为即更一般地，有限个相互独立得正态随机变量的线性组合仍然服从正态分布.2.及的分布设是两个相互独立的随机变量，他们的分布函数分别为, ，现在来求及的分布函数。 又由于和相互独立，得到 的分布函数为即有 类似的，可得到的分布函数为 即.第四章 随机变量的数字特征1. 数学期望1. 定义：设离散型随机变量的分布律为=，若级数绝对收敛，则称级数的和为随机变量的数学期望，记为=.2. 设连续型随机变量的概率密度为,若积分的值为随机变量的数学期望,即=.数学期望简称期望，又称均值.3. 定理：设是随机变量的函数: （是连续函数）.1) 若是离散型随机变量，它的分布律为=，若级数绝对收敛，则有=. 2) 若是连续型随机变量，它的概率密度为 若绝对收敛则有= .4.数学期望的重要性质：（1） 设是常数，则有 （2）设是一个随机变量，是常数，则有 （3） 设是两个随机变量，则有 .这一性质可以推广到任意有限个随机变量之和的情况.（4） 设是相互独立的随机变量，则有；这一性质可以推广到任意有限个相互独立的随机变量之积的情况.5. 几个重要随机变量的期望 （1）0-1分布的数学期望：（2）二项分布：(3) 泊松分布: (4) 均匀分布. (5) 指数分布：(6)正态分布: 2. 方差1.定义:设是一个随机变量，若存在，则称为的方差，记为即 .在应用上引入，记为 称为标准差或均方差.2.离散型随机变量：, 其中. 连续型随机变量：= 其中是的概率密度. 随机变量X的方差可按计算. 3.方差的重要性质（1）设是常数，则有（2）设是一个随机变量，是常数，则有(3) 设是两个随机变量，则有若相互独立，则有 这一性质可以推广到任意有限个相互独立的随机变量之和的情况(4) 的充要条件是以概率1取常数，4. 几个重要随机变量的方差 (2) 泊松分布: (3) 均匀分布: (4) 指数分布: (5) 正态分布: 3. 协方差及相关系数1 定义:称为随机变量X与Y的协方差，记为,即，称为随机变量X与Y的相关系数.2.协方差性质 1) 2) 3) 4) 5) 若相互独立，则 6) 3. 定 理：（1）（2）的充要条件是，存在常数使 （3）当=0时，称和不相关 （4）当和相互独立时由=0，知=0即X,Y不相关，反之，若不相关，却不一定相互独立.4.矩、协方差矩阵1定义：设和是随机变量，若，存在，称它为的阶矩。若 存在，称它为的阶中心矩。若 存在，称它为和的阶混合矩.若 ，存在，称它为和的阶混合中心矩.2.设维随机变量的二阶混合中心距都存在，则称矩阵为维随机变量的协方差矩阵.3. 维正态变量的性质：第五章 大数定律和中心极限定理1. 大数定律 2.3.4.2.中心极限定理1.2.20