第一章随机过程课件

参考书：1.应用随机过程，林元烈编著，清华大学出版社；2.随机系统分析引论，盛昭瀚，东南大学出版社；3.随机过程，伊曼纽尔、帕尔逊著，邓永录、杨振业译，高等教育出版社；4.随机过程，Sheldon M1.Ross著。参考书：1第一章 预备知识预备知识 简要回顾一下概率论中与本课程有关的基本概念：随机试验、样本空间、事件、概率、随机变量、概率分布、数字特征等。第一章 预备知识 简要回顾一下概率论中与本课程有关的2一、基本概念v试验结果事先不能准确预言，三个特征:可以在相同条件下重复进行；每次试验结果不止一个，可预先知道试验所有可能结果；每次试验前不能确定那个结果会出现。样本空间随机试验所有可能结果组成的集合，记为随机事件样本空间的子集A称为随机事件，用A、B、C表示1.1 概率空间概率空间随机试验一、基本概念试验结果事先不能准确预言，三个特征:样本空间随机3注：由于事件是集合，故集合的运算（并、交、差、上极限、下极限、极限等）都适用于事件。称 为必然事件，W样本空间 也是一个事件，W空集 称为不可能事件。F注：所谓某个事件在 试验中是否出现，当且仅当该事件所包含的某个样本点是否出现，因此一个事件实际上对应于的一个确定的子集。事件的概率论运算 子集的集合论运算。注：由于事件是集合，故集合的运算（并、交、差、上极限、下极限4 在实际问题中，并不是对所有的事件样本空间（的所有子集）都感兴趣，而是关心某些事件（的某些子集）及其发生的可能性大小（概率）。为了数学上处理方便，我们常要求这些子集组成的类具有一些基本性质（即对事件需加一些约束）代数（事件族）二、在实际问题中，并不是对所有的事件样本空间（5定义1.1设样本空间 的某些子集构成的集合记为F，如果F满足下列性质：F中的元素称为事件。则称F为 代数（Bord事件域），称为可测空间定义1.1设样本空间 的某些子集构成F中6例如，例如，包含包含A的最大的的最大的 代数是代数是 的一切的一切子集组成的集类子集组成的集类对于某个事件对于某个事件A A包含它的包含它的 代数不是唯一的代数不是唯一的而包含而包含A的最小的的最小的 代数则是：代数则是：注：注：F F（）表示由）表示由的子集全体构成的集合类，的子集全体构成的集合类，显然满足上述定义的（显然满足上述定义的（1）（3），但这个族常），但这个族常常显得太大以致对于某些样本空间而言不可以在常显得太大以致对于某些样本空间而言不可以在这样的族上定义满足三条公理的概率函数这样的族上定义满足三条公理的概率函数。为了建立概率的数学理为了建立概率的数学理论通常只需把事件族论通常只需把事件族取为具有定义（）（）中并包含了我们感取为具有定义（）（）中并包含了我们感兴趣的所有集合的的最小子集族。兴趣的所有集合的的最小子集族。例如，包含A的最大的 代数是 的一切对7三、概率的公理化定义三、概率的公理化定义 为了完成随机现象的数学描述，还要规定随机事件族上的概率函数即对中的每个事件要定义一个称作为的概率的数 ，作为事件A的函数必须假定满足三条公理。非负性；规范性；两两互不相容，即有则称P为（，F）上的概率，（，F，P）称为概率空间，P（A）为事件A的概率。定义1.2：设（，P）是可测空间 是定义在F上的实值函数，如果 满足三、概率的公理化定义 为了完成随机现象的数学描8由此定义出发，可推出概率的其它一些性质：即概率具有单调性；新事件：连续性定理由此定义出发，可推出概率的其它一些性质：即概率具有单调性；新9条件概率v在事件B已发生这一条件下，事件A发生的概率。全概率公式v若有N个互斥事件Bn（n=1,2,N），它的并集等于整个样本空间，则四、几个重要公式四、几个重要公式加法公式条件概率在事件B已发生这一条件下，事件A发生的概率。全概率公10v设事件A1，A2，An构成一个完备事件组，概率P(Ai)0,i=1,2,n,对于任何一个事件B，若P(B)0,有贝叶斯公式独立事件设事件A1，A2，An构成一个完备事件组，概率P(Ai)111.2 随机变量及其分布随机变量及其分布一、一维随机变量及其分布函数一、一维随机变量及其分布函数由于数学分析不能直接利用来研究集合函数，这样影响对随机现象的研究。解决这个问题的方法，主要是设法在集合函数与数学分析中所研究的点函数间建立某种联系，从而能用数学分析去研究随机现象。1.2 随机变量及其分布一、一维随机变量及其分布函数由12X(e)就是一个函数，它把样本点映射到实数轴上，随机变量就是从原样本空间到新样本空间的一种映射，我们通常把这样一种对应关系称之为在概率空间上的一个随机变量。下面我们给出随机变量的数学定义。定义定义1.4：设（：设（，F，P）是概率空间，）是概率空间，X=X(e)是定义在是定义在上的实函数，如果对任意实数上的实函数，如果对任意实数x，e:X(e)x F，则称，则称X(e)是是F上的随机变量。上的随机变量。X(e)就是一个函数，它把样本点映射到实数轴上，随机变量就是13事件随机变量离散型随机变量离散型随机变量：只取有限个数值或可列无穷多个值。只取有限个数值或可列无穷多个值。连续型随机变量连续型随机变量：从原样本空间到新样本：从原样本空间到新样本空间的映射是某一个范围，是一段（或几空间的映射是某一个范围，是一段（或几段）实线（也可能是整个坐标轴），随机段）实线（也可能是整个坐标轴），随机变量可以取值于某一区间中的任一数。变量可以取值于某一区间中的任一数。事件随机变量离散型随机变量：连续型随机变量：从原样本空间到新14分布函数（一个描述随机变量取值的概分布函数（一个描述随机变量取值的概率分布情况的统一方法）率分布情况的统一方法）分布函数（一个描述随机变量取值的概率分布情况的统一方法）15离散型随机变量离散型随机变量X的概率分布用分布律描述：的概率分布用分布律描述：离散型随机变量X的概率分布用分布律描述：16离散型随机变量的概率分布用分布列描述01分布二项分布泊松分布连续型随机变量的概率分布用概率密度描述均匀分布正态分布指数分布离散型随机变量的概率分布用分布列描述01分布二项分布泊松分17随机变量函数的分布随机变量函数的分布在给定某任意的随机变量X，以及它的概率分布函数FX(x)，希望进一步求出给定的随机变量的某些可测函数（如Y=g(X)）的概率分布函数。非线性放大器YXY的概率分布函数公式为如果上式右端概率的导数对于y处处存在，那么这个导数就给出了随机变量Y的概率密度随机变量函数的分布在给定某任意的随机变量X，以及它的概率分布18二、二、n维随机变量及其分布函数维随机变量及其分布函数定义1.5 设（，F，P）是概率空间，X=X(e)（X1(e),Xn(e)）是定义在上的n维空间Rn中取值的向量函数。如果对于任意x=(x1,xn)Rn，e:X1(e)x1,Xn(e)xn F，则称X=X(e)为n维随机变量。称为X=(X1,X2,Xn)的联合分布函数二、n维随机变量及其分布函数定义1.5 设（，F，19第一章随机过程课件20三、边缘分布三、边缘分布若二维联合分布函数中有一个变元趋于无穷，则其极限函数便是一维分布函数，对于这种特殊性质，我们称其为边缘缘分布。对于任意两个随机变量X,Y，其联合分布函数为：则：分别称FX(x)和FY(y)为 关于X和关于Y的边缘缘分布函数。三、边缘分布若二维联合分布函数中有一个变元趋于无穷，则其极限21离散型随机变量（X，Y）边缘缘分布律计算如下连续型随机变量（X，Y）边缘缘概率密度计算如下离散型随机变量（X，Y）边缘分布律计算如下连续型随机变量（X22相互独立的随机变量相互独立的随机变量设X，Y是两个随机变量，若对任意实数x，y有则称X，Y为相互独立的随机变量。若X，Y为相互独立随机变量，则有联合密度边缘密度边缘密度联合密度相互独立的随机变量设X，Y是两个随机变量，若对任意实数x，y23四、条件分布四、条件分布条件概率条件分布函数两边对x微分四、条件分布条件概率条件分布函数两边对x微分241.3 随机变量的数字特征随机变量的数字特征v随机变量的数学期望v随机变量函数的期望值v方差v协方差v相关系数v独立与不相关1.3 随机变量的数字特征随机变量的数学期望25一、斯蒂尔吉斯积分（补充）一、斯蒂尔吉斯积分（补充）1.有限区间上的斯蒂尔吉斯积分一、斯蒂尔吉斯积分（补充）1.有限区间上的斯蒂尔吉斯积分26第一章随机过程课件272.无限区间上的无限区间上的S积分积分2.无限区间上的S积分28第一章随机过程课件29左边的积分称为斯蒂吉斯积分二、数学期望二、数学期望左边的积分称为斯蒂吉斯积分二、数学期望30随机变量函数的期望值随机变量函数的期望值已知随机变量X的数学期望值，求随机变量函数Y=g(X)的数学期望，对于多维随机变量随机变量函数的期望值已知随机变量X的数学期望值，求随机变量函31设X1,X2,Xn为随机变量，求随机变量函数Y=a1X1+a2X2+anXn的数学期望。已知随机变量X1和X2，求随机变量函数YaX1+bX2的数学期望设X1,X2,Xn为随机变量，求随机变量函数Y=a1X32加权和的期望等于加权期望的和求数学期望是线性运算数学期望的线性运算不受独立条件限制已知随机变量X1和X2，求随机变量函数Yg1(X1)g2(X2)的数学期望加权和的期望等于加权期望的和求数学期望是线性运算数学期望的线33假设两个随机变量X1和X2相互独立，则有因此，有假设两个随机变量X1和X2相互独立，则有因此，有34三、方差（随机变量取值的离散程度）三、方差（随机变量取值的离散程度）35四、协差与相关系数引入一个描述两个随机变量相关程度的系数XY称为归一化的协方差系数或相关系数。若XY0，则称随机变量X和Y不相关。四、协差与相关系数引入一个描述两个随机变量相关程度的系数X36五、五、K阶原点矩、阶原点矩、k阶中心矩阶中心矩随机变量X，若E|X|k，称EXk为k阶原点矩。离散随机变量连续随机变量又若EX存在，且E|X-EX|k，称为X的k阶中心矩。离散随机变量连续随机变量五、K阶原点矩、k阶中心矩随机变量X，若E|X|k，37一阶原点矩就是随机变量的数学期望，数学期望大致的描述了概率分布的中心。二阶中心矩就是随机变量的方差，方差反映随机变量取值的离散程度。01分布泊松分布正态分布数学期望和方差（见表11）一阶原点矩就是随机变量的数学期望，数学期望大致的描述了概率分38中心化的两个随机变量X-EX，Y-EY的互相关矩称为随机变量X和Y的协方差，协方差是描述随机现象中，随机变量X和Y概率相关的程度。中心化的两个随机变量X-EX，Y-EY的互相关矩称为39统计独立不相关统计独立不相关设Z是一个随机变量，具有均匀概率密度令X=sinZ，Y=cosZ，求随机变量X和Y是否相关，是否独立？统计独立不相关统计独立不相关设Z是一个随机变量，具有均匀概率401.4 1.4 特征函数、母函数特征函数、母函数 数学特征只反映了概率分布的某些侧面，一般并不能通过它们来确定分布函数，这里将要引进的特征函数，既能完全决定分布函数而又具有良好的分析性质。一、复随机变量对复随机变量也可以平行于实随机变量建立起一系列结果。1.4 特征函数、母函数 数学特征只反映了41二、特征函数二、特征函数二、特征函数42对离散型随机变量，若其分布律为对离散型随机变量，若其分布律为43三、特征函数的性质三、特征函数的性质三、特征函数的性质44第一章随机过程课件45因而可作下理积分号下的微分因而可作下理积分号下的微分46此性质使我们可以方便地求得随机变量的各阶矩此性质使我们可以方便地求得随机变量的各阶矩47第一章随机过程课件48（7）特征函数与分布函数是相互唯一确定的证略（7）特征函数与分布函数是相互唯一确定的证略49唯一性定理：分布函数由其特征函数唯一决定而分布函数由其连续点上的值唯一决定不连续点利用右连续性唯一性定理：而分布函数由其连续点上的值唯一决定50即在特征函数绝对可积的条件下，概率密度与特征函数构成一对付氏变换。即在特征函数绝对可积的条件下，概率密度51因此用控制收敛定理知（极限号与积分号交换的勒贝格控制收敛定理）因此用控制收敛定理知（极限号与积分号52第一章随机过程课件53四、多元特征函数四、多元特征函数四、多元特征函数54第一章随机过程课件55第一章随机过程课件56第一章随机过程课件57第一章随机过程课件58第一章随机过程课件59第一章随机过程课件60第一章随机过程课件61第一章随机过程课件62第一章随机过程课件63利用特征函数与分布一一对应的唯一性得利用特征函数与分布一一对应的唯一性得64注：求随机变量的特征函数的方法（3）用Fourier变换去求解。（1）一般定义求解；（2）对一些特殊分布可化为微分方程求解；（4）利用特征函数求多个独立随机变量和的分布。要求：（1）会求一些常用的随机变量的特征函数；（2）记住一些重要分布的特征函数，如正态分布；（3）利用特征函数求相应随机变量的各阶矩；注：求随机变量的特征函数的方法（3）用Fourier变换去求65五、母函数 对于整值随机变量，有一种处理方法很便于应用，这就是母函数法。五、母函数 对于整值随机变量，有一种处理方法很66第一章随机过程课件67例、求二项分布、泊松分布、几何分布的母函数例、求二项分布、泊松分布、几何分布68（1）唯一性，非负整数值随机变量的分布列 由其母函数唯一确定六、母函数的性质（1）唯一性，非负整数值随机变量的分布列六、母函数的性质69第一章随机过程课件70第一章随机过程课件713、独立随机变量之和的母函数等于母函数之积3、独立随机变量之和的母函数等于母函数之积72第一章随机过程课件73(4)随机个随机变量之和的母函数(4)随机个随机变量之和的母函数74第一章随机过程课件75第一章随机过程课件76一、密度函数与特征函数一、密度函数与特征函数77第一章随机过程课件78二、几个常用结论二、几个常用结论二、几个常用结论79第一章随机过程课件80第一章随机过程课件81第一章随机过程课件821.6 1.6 条件期望条件期望一、条件分布及条件期望（1）随机变量关于事件的条件分布及条件期望条件数学期望：1.6 条件期望一、条件分布及条件期望（1）随机变量关于83（2）离散型随机变量的条件分布律及条件期望（2）离散型随机变量的条件分布律及条件期望84第一章随机过程课件85第一章随机过程课件86第一章随机过程课件87（二）条件期望的性质（二）条件期望的性质88第一章随机过程课件89第一章随机过程课件90（7）连续型全概率公式由全期望公式得（7）连续型全概率公式由全期望公式得91第一章随机过程课件92第一章随机过程课件93第一章随机过程课件94同理，母函数为同理，母函数为95v复习概率论与数理统计方面的知识；v掌握特征函数与母函数的性质和计算方法；v重点掌握条件分布与条件期望的性质和计算方法。预备知识结束预备知识结束作业：作业：预备知识结束作业：96第一章随机过程课件97