概率论基础-课件

第一章第一章 概率论基础概率论基础 第一节第一节 概概 率率 空空 间间 第二节第二节 随机变量及其分布随机变量及其分布 第三节第三节 随机变量的数字特征随机变量的数字特征 第四节第四节 随机变量的特征函数随机变量的特征函数 第五节第五节 n维正态随机变量维正态随机变量 第六节第六节 条件数学期望条件数学期望 第七节第七节 随机变量序列的收敛性随机变量序列的收敛性 第一章第一章 概率概率论论基基础础 第一第一节节 概概 1.复随机复随机 变量变量 设设X，Y为二维（实）随机变量，则称为二维（实）随机变量，则称 为复随机变量为复随机变量.2.数学期望数学期望 3.特征函数特征函数 设设X为随机变量，称复随机变量为随机变量，称复随机变量 的数学期望的数学期望为为X的特征函数，其中的特征函数，其中t是实数。是实数。还可写成还可写成 第四节第四节 随机变量的特征函数随机变量的特征函数 1.复随机复随机 变变量量 设设X，Y为为二二维维（实实）随机）随机变变量，量，则则称称 4特征函数与分布函数的关系特征函数与分布函数的关系特征函数与分布函数特征函数与分布函数 相互唯一确定。相互唯一确定。特别特别 当当 存在时，有存在时，有 5特征函数的性质特征函数的性质 性质性质1 对任何实数对任何实数t，证证 所以特征函数一定存在。所以特征函数一定存在。4特征函数与分布函数的关系特征函数与分布函数特征函数与分布函数的关系特征函数与分布函数 相互唯一确定相互唯一确定性质性质2 证证性质性质3设设a，b为任意实数，为任意实数，则，则Y的特的特征函数征函数 有有证证 性性质质2 证证性性质质3设设a，b为为任意任意实实数，数，性质性质4 性质性质5设相互独立的随机变量设相互独立的随机变量 的的特征函数分别为特征函数分别为 ，则和则和 若随机变量若随机变量X的的 n阶绝对矩存在，即阶绝对矩存在，即 则则X的特征函数的特征函数 有有n阶导数，且有阶导数，且有 的特征函数为的特征函数为 性性质质4 性性质质5设设相互独立的随机相互独立的随机变变量量 例例2 设随机变量设随机变量X服从参数为服从参数为 的泊松分布，的泊松分布，求求X的特征函数。的特征函数。解解 由于由于 所以所以 例例2 设设随机随机变变量量X服从参数服从参数为为 的泊松分布，解的泊松分布，解 由于由于例例3 设设随随机机变变量量X服服从从a，b上上的的均均匀匀分分布布，求求X的的特征函数。特征函数。解解 X的概率密度为的概率密度为 所以所以 例例3 设设随机随机变变量量X服从服从a，b上的均匀分布，求上的均匀分布，求X的特征函的特征函例例4 设设X B（n，p），求），求X的特征函数的特征函数 及及和和 。解解 X的分布律为的分布律为所以所以 由性质由性质4知知 故故 例例4 设设X B（n，p），求），求X的特征函数的特征函数 例：求正态分布的特征函数。例：求正态分布的特征函数。例：求正例：求正态态分布的特征函数。分布的特征函数。设设 是是n维随机向量，其联合分布函数维随机向量，其联合分布函数为为 则称则称为为n维随机变量维随机变量X的特征函数。的特征函数。定义定义1.4.3 设设 练习：练习：设二维随机变量设二维随机变量(X，Y)的分布律为的分布律为（1）求）求X的特征函数。的特征函数。（2）求）求(X，Y)的特征函数。的特征函数。练习练习：设设二二维维随机随机变变量量(X，Y)的分布律的分布律为为（1）求）求X的特征函数的特征函数概率概率论论基基础础-课课件件1.n维随机变量的特征函数及其性质与维随机变量的特征函数及其性质与1维类似，维类似，具体参见教材具体参见教材2.对于取值非负的随机变量只需要将原来的傅里对于取值非负的随机变量只需要将原来的傅里叶变换改成拉普拉斯变换即可叶变换改成拉普拉斯变换即可3.关于傅里叶变换与拉普拉斯变换的性质可参见积关于傅里叶变换与拉普拉斯变换的性质可参见积分变换教材分变换教材n维维随机随机变变量的特征函数及其性量的特征函数及其性质质与与1维类维类似，具体参似，具体参见见教材教材 第五节第五节 n维正态随机变量维正态随机变量 多元正态分布是一元正态分布的推广。迄今为止多元正态分布是一元正态分布的推广。迄今为止,多多元分析的主要理论都是建立在多元正态总体基础上元分析的主要理论都是建立在多元正态总体基础上的的,多元正态分布是多元分析的基础。另一方面，许多元正态分布是多元分析的基础。另一方面，许多实际问题的分布常是多元正态分布或近似正态分多实际问题的分布常是多元正态分布或近似正态分布，或虽本身不是正态分布，但它的样本均值近似布，或虽本身不是正态分布，但它的样本均值近似于多元正态分布。于多元正态分布。本节将介绍多元正态分布的定义，并简要给出本节将介绍多元正态分布的定义，并简要给出它的基本性质。它的基本性质。第五第五节节 n维维正正态态随机随机变变量量 多元正多元正态态分布是分布是|B|B|为协方差矩阵为协方差矩阵B B的行列式。的行列式。定义定义1.5.11.5.1：若：若n n元随机向量元随机向量 的概率密度函数为：的概率密度函数为：则称则称 遵从遵从n n元正态分布，也称元正态分布，也称X X为为n n元正元正态变量。记为态变量。记为|B|为协为协方差矩方差矩阵阵B的行列式。的行列式。定定义义1.5.1：若：若n元随机元随机当当n=1,2n=1,2时，可以验证，此定义和通常定义的正态分布时，可以验证，此定义和通常定义的正态分布一致。一致。当当n=1,2时时，可以，可以验证验证，此定，此定义义和通常定和通常定义义的正的正态态分布一致。分布一致。定理定理1.5.11.5.1：设：设 ，则存在n阶正交矩阵A，使得 是是n n维独立正态随机变量，且维独立正态随机变量，且 定理定理1.5.21.5.2：设：设 ，则X的特征函数为 定理定理1.5.1：设设 ，则则存在存在n 定理定理1.5.31.5.3：设设 ，则(1)若 是常数，则（2）若mn,则X的m个分量构成的m维随机变量服从m为正态分布 ，其中 分别是 的均值向量和协方差矩阵.（3）若m维随机变量Y是X的线性变换，即Y=XC，则Y服从m维正态分布(4)独立的充要条件是他们之间两两不相关。定理定理1.5.3：设设 ，则则（2）回忆：条件分布函数 离散型 若若 ，则称，则称 为在条件为在条件 下，随机变量下，随机变量X的条件分布律的条件分布律。同样同样为在条件为在条件 下，随机变量下，随机变量Y的条件分布律。的条件分布律。第六节第六节 条件数学期望条件数学期望 回回忆忆：条件分布函数：条件分布函数 离散型离散型 若若 4条件分布函数 连续型 称为在条件称为在条件 下，随机变量下，随机变量X的条件分布律的条件分布律。同样同样称为在条件称为在条件 下，随机变量下，随机变量Y的条件分布律。的条件分布律。注意注意：分母不等于：分母不等于04条件分布函数条件分布函数 连续连续型型 称称为为在条件在条件 一般情况称称 为在条件为在条件 下，随机变量下，随机变量X的条件分布律的条件分布律。同样同样为在条件为在条件 下，随机变量下，随机变量Y的条件分布律。的条件分布律。一般情况称一般情况称 为为在条件在条件 下，下，一、条件期望的定义一、条件期望的定义1.6.3 设（X,Y）是二维随机变量，分别是X和Y的条件分布函数，则称为X在条件Y=y下的条件数学期望.称为Y在条件X=x下的条件数学期望.一、条件期望的定一、条件期望的定义义1.6.3 设设（X,Y）是二）是二维维随机随机变变量，量，离散型离散型 其中其中连续型连续型 其中其中条件概率密度条件概率密度 离散型离散型 其中其中连续连续型型 其中条件概率密度其中条件概率密度 二、全数学期望公式二、全数学期望公式 定理定理1 对一切随机变量对一切随机变量X和和Y，有有 连续型连续型 是随机变量是随机变量Y的函数，当的函数，当 时取值时取值因而它也是随机变量。因而它也是随机变量。离散型离散型 二、全数学期望公式二、全数学期望公式 定理定理1 对对一切随机一切随机变变量量X和和Y，有，有 连续连续证证 只证（只证（X，Y）是离散型随机向量时的情况）是离散型随机向量时的情况 证证 只只证证（X，Y）是离散型随机向量）是离散型随机向量时时的情况的情况 例：设设(X,Y)是定义在概率空间是定义在概率空间(,F,P)上的两个离散型上的两个离散型随机变量，其联合分布律为随机变量，其联合分布律为求求 E(X|Y)的分布律，的分布律，E(E(X|Y)及及EX.例：例：设设(X,Y)是定是定义义在概率空在概率空间间(,F,P)上的两上的两解解：为了为了求求E(X|Y=yj)，先求出，先求出P(X=xi,Y=yj)(i,j=1,2,3)1.当当Y=y1=1时有时有P(X=1|Y=1)=P(X=1,Y=1)/P(Y=1)=P(X=2|Y=1)=P(X=2,Y=1)/P(Y=1)=P(X=3|Y=1)=P(X=3,Y=1)/P(Y=1)=故故2/277/27274/277/27471/277/2717解：解：为为了求了求E(X|Y=yj)，先求出，先求出P(X=xi 同样可以求得同样可以求得因此因此随机变量随机变量E(X|Y)的分布律为的分布律为 E(X|Y)13/7 28/15 11/5PE(X|Y)=E(X|,Y=j)=P(Y=j)7/27 15/27 5/27 同同样样可以求得可以求得 E(X|Y 随机变量随机变量 E(X|Y)的的数学期望为数学期望为而而 从而可得从而可得 EE(X|Y)=E(X).(当当 E(X)该式表明：局部加权后的加权平均等于总体的加权平均。该式表明：局部加权后的加权平均等于总体的加权平均。随机随机变变量量 E(X|Y)的数学期望的数学期望为为定义1.6.4 设 是n维随机变量，是 的条件分布函数，则称是 在条件下的条件数学期望。称 为 在条件 下的条件数学期望。定定义义1.6.4 设设 定理1.6.1 定理1.6.2 设 相互独立，则 定理1.6.3 设 是n维随机变量，是连续函数，则 定理1.6.4 设 是n维随机变量，kn-1,则 定理定理1.6.1 定理定理1.6.2 设设 一矿工困在矿井中，要到达安全地带，有三个一矿工困在矿井中，要到达安全地带，有三个通道可选择，他从第一个通道出去要走通道可选择，他从第一个通道出去要走3个小时可个小时可到达安全地带，从第二个通道出去要走到达安全地带，从第二个通道出去要走5个小时又个小时又返回原处，从第三个通道出去要走返回原处，从第三个通道出去要走7个小时也返回个小时也返回原处。设任一时刻都等可能地选中其中一个通道，原处。设任一时刻都等可能地选中其中一个通道，试问他到达安全地点平均要花多长时间。试问他到达安全地点平均要花多长时间。例例1 解解 设设X表示矿工到达安全地点所需时间，表示矿工到达安全地点所需时间，Y表示表示他选定的通道，则由定理他选定的通道，则由定理1可知可知 所以所以 一一矿矿工困在工困在矿矿井中，要到达安全地井中，要到达安全地带带，有三个通道，有三个通道如果如果 1依分布收敛依分布收敛 设设 ，分别为随机变量分别为随机变量 及及X 的的分布函数分布函数 随机变量序列随机变量序列 依分布收敛于依分布收敛于X，记作，记作 则称则称 对于的每一个连续点对于的每一个连续点x，有，有 一、收敛性一、收敛性 第七节第七节 随机变量序列的收敛性随机变量序列的收敛性如果如果 1依分布收依分布收敛敛 设设 ，如果如果2依概率收敛依概率收敛 对于任意给定的正数对于任意给定的正数 ，有，有 随机变量序列随机变量序列 依概率收敛于依概率收敛于X，记作，记作 则称则称如果如果2依概率收依概率收敛敛 对对于任意于任意给给定的正数定的正数 如果如果3r阶收敛阶收敛 对于所有的对于所有的 有有 随机变量序列随机变量序列 r阶收敛于阶收敛于X，记作，记作 且且 则称则称如果如果3r阶阶收收敛敛 对对于所有的于所有的 有有 随机随机变变量量4概率概率1收敛（或几乎处处收敛）收敛（或几乎处处收敛）如果如果 随机变量序列随机变量序列 以概率以概率1收敛于收敛于X，或称，或称 几乎处处收敛于几乎处处收敛于X，记作，记作 则称则称4概率概率1收收敛敛（或几乎（或几乎处处处处收收敛敛）如果如果 随机随机变变量序列量序列 （2）若）若 r阶收敛，则阶收敛，则 必为依概率收敛；必为依概率收敛；收敛性之间的关系收敛性之间的关系（3）若）若 几乎处处收敛，则几乎处处收敛，则 必为依概率收敛；必为依概率收敛；r阶收敛与几乎处处收敛不存在确定的关系。阶收敛与几乎处处收敛不存在确定的关系。注注（1）若）若 依概率收敛，则依概率收敛，则 必为依分布收敛。必为依分布收敛。（2）若）若 r阶阶收收敛敛，则则 必必为为 第二章第二章 随机过程的基本概念随机过程的基本概念 随机过程的定义及其分类随机过程的定义及其分类 随机过程的分布及其数字特征随机过程的分布及其数字特征 复随机过程复随机过程 几种重要的随机过程简介几种重要的随机过程简介 第二章第二章 随机随机过过程的基本概念程的基本概念 随机随机过过程的定程的定义义及及概率论主要是以概率论主要是以一个或有限个随机变量一个或有限个随机变量为为研究对象的研究对象的.随着科学技术的不断发展随着科学技术的不断发展,人们发现几乎一人们发现几乎一切可观察现象都具有随机性切可观察现象都具有随机性.必须对一些随机现象的必须对一些随机现象的变化过程变化过程进行研究进行研究.即需要研究即需要研究无穷多个随机变量无穷多个随机变量概率概率论论主要是以一个或有限个随机主要是以一个或有限个随机变变量量为为研究研究对对象的象的.数学模型数学模型确定性的函数确定性的函数无穷多个无穷多个(一族一族)相相关的随机变量关的随机变量(随机过程随机过程)随机变量随机变量(随机向量随机向量)概率论概率论随机过程随机过程随随机机性性方方法法确定性方法确定性方法系系统统数学模型确定性的函数无数学模型确定性的函数无穷穷多个多个(一族一族)相随机相随机变变量量(随机向量随机向量随机过程随机过程是概率论的深入和发展是概率论的深入和发展.它是研究客观世界中随机演变过程的它是研究客观世界中随机演变过程的规律性规律性的的学科学科.随机过程的理论与方法在自动控制、雷达与通信、随机过程的理论与方法在自动控制、雷达与通信、生物工程、天文气象、地质能源、社会科学及工生物工程、天文气象、地质能源、社会科学及工程技术、经济管理等许多领域有着极为广泛的应程技术、经济管理等许多领域有着极为广泛的应用。用。随机随机过过程是概率程是概率论论的深入和的深入和发发展展.随机随机过过程的理程的理论论与方法在自与方法在自动动控制控制课程任务掌握随机过程的基本概念掌握随机过程的基本概念.掌握随机过程的基本理论和分析方法掌握随机过程的基本理论和分析方法.具备处理随机现象的思想与方法具备处理随机现象的思想与方法.具有应用随机过程的理论和方法来分析问具有应用随机过程的理论和方法来分析问题和解决问题的能力题和解决问题的能力.课课程任程任务务基本内容随机过程基本概念随机过程基本概念随机分析随机分析平稳过程平稳过程马尔科夫过程（链）马尔科夫过程（链）基本内容基本内容例例1.考察考察 0，t0时间内某网站收到的访问次数时间内某网站收到的访问次数(t),则则(t)是一个随机变量是一个随机变量 如果要长时间内该网站的访问次数如果要长时间内该网站的访问次数,则需要让则需要让t 变化起来变化起来,即即t趋于无穷大趋于无穷大,则则 (t)是一族随机变量是一族随机变量 此时此时(t)是与时间有关系的随机变量，称是与时间有关系的随机变量，称(t),t0,）是随机过程是随机过程1 随机过程的定义随机过程的定义随机过程的定义随机过程的定义 第一节第一节 随机过程的定义及其分类随机过程的定义及其分类例例1.考察考察 0，t0时间时间内某网站收到的内某网站收到的访问访问次数次数(t其中其中 为常数，为常数，服从服从0,20,2 上的均匀分布上的均匀分布.若要观察任一时刻若要观察任一时刻t的波形，则需要用一族随机变量的波形，则需要用一族随机变量(t)描述描述.则称则称(t)，t00，+)为随机过程为随机过程例例例例.具有随机初位相的简谐波具有随机初位相的简谐波具有随机初位相的简谐波具有随机初位相的简谐波由于初位相的随机性，在某时刻由于初位相的随机性，在某时刻tt0，(t0)是一个随机变量是一个随机变量其中其中 为为常数，常数，服从服从0,2上的均匀分布上的均匀分布.若要若要观观察察例例.生物群体的增长问题生物群体的增长问题.以以t表示在时刻表示在时刻t某种某种 生物群体的个数生物群体的个数,则对每一个固定的则对每一个固定的t,t是一是一 个随机变量个随机变量 如果从如果从t开始每隔开始每隔24小时对群体的个数观小时对群体的个数观 察一次，则对每一个察一次，则对每一个t，t是一族随机变量是一族随机变量 也记为也记为n，n，.则称则称t,t,2,.是随机过程是随机过程例例.生物群体的增生物群体的增长问题长问题.以以t表示在表示在时时刻刻t某种某种 生物生物例例4.在天气预报中在天气预报中,以以Xt 表示某地区第表示某地区第t次统计所得次统计所得 到的最高气温到的最高气温,则则Xt 是一个随机变量是一个随机变量.为了预报该地区未来的气温为了预报该地区未来的气温,要让要让t趋于无穷大趋于无穷大,则可得到一族随机变量则可得到一族随机变量:Xt,t=0,1,2,，称称t，t，2，.，是随机过程是随机过程以上以上4个例子的共同特点是个例子的共同特点是:对某参数集中的任意一个参数对某参数集中的任意一个参数t,就有一个就有一个随机变量随机变量X(t)与之对应与之对应.表示依赖于一个变动参量的一族随机变表示依赖于一个变动参量的一族随机变量。它虽然不能用一个确定的函数来描量。它虽然不能用一个确定的函数来描述，但也是有规律的。述，但也是有规律的。随机过程随机过程 例例4.在天气在天气预报预报中中,以以Xt 表示某地区第表示某地区第t次次统计统计所得所得为为随机过程定义随机过程定义若对每一若对每一 t T,均有定义在均有定义在(,F,P)上的一个上的一个随机变量随机变量X(,t),()与之对应与之对应,则称则称X(,t)为为(,F,P)上的一个上的一个随机过程随机过程(S.P.)记记X(,t),tT,简记简记X(t),tT,或或X(t).设设(,F,P)为一概率空间为一概率空间,T为一参数集为一参数集,T R,随机随机过过程定程定义义若若对对每一每一 t T,均有定均有定义义在在(,F,P)上的上的 T T称为参数集或参数空间称为参数集或参数空间,t,t称为参数称为参数,一般表一般表示时间或空间示时间或空间.参数集通常有以下形式参数集通常有以下形式:T=0,1,2,或或 T=-2,-1,0,1,2,T=a,b,其中其中a 可以为可以为,b可以为可以为+.当参数集为形式当参数集为形式时时,随机过程随机过程X(t)也称为也称为随机序列随机序列 T称称为为参数集或参数空参数集或参数空间间,t称称为为参数参数,一般表示一般表示时间时间或空或空间间.1.X(,t),t),实质上为定义在实质上为定义在T T上的二元单值函数上的二元单值函数.2.对每一个固定的对每一个固定的t,X(t)为一随机变量为一随机变量(r.v.).tTT时时.该随机变量所有可能取值的集合该随机变量所有可能取值的集合,称为随机过程的称为随机过程的状态空间状态空间.记为记为S.S中的元素称为中的元素称为状态状态.3.对每一个确定的对每一个确定的0,X(0,t)是定义在是定义在T上的普通上的普通函数函数.记为记为 x(0,t),称为为随机过程的一个称为为随机过程的一个样本函数样本函数.也称也称轨道或实现轨道或实现.样本函数的图形称为样本函数的图形称为样本曲线样本曲线说明说明说明说明:设设设设X(X(,t),t),t,tTT为一为一为一为一S.P.S.P.1.X(,t),实质实质上上为为定定义义在在T上的二元上的二元单值单值函数函数.tX(t)tt0状态状态X(t0)=4状态状态X(t0)=5样本曲线样本曲线x1(t)x1(t)x2(t)样本曲线样本曲线x2(t)状态空间状态空间S=0,1,2,.,T=0,+)例例例例1 1的样本曲线与状态的样本曲线与状态的样本曲线与状态的样本曲线与状态例例1.考察考察 0，t0时间内某网站收到的访问次数时间内某网站收到的访问次数(t),则则(t)是一个随机变量是一个随机变量 tX(t)tt状态空间状态空间S=-A,A,参数集参数集T=-,+tX(t)样本曲线样本曲线x1(t)样本曲线样本曲线x2(t)t0状态状态X(t0)状态状态X(t0)例例2 的样本曲线与状态的样本曲线与状态其中其中 为常数，为常数，服从服从0,20,2 上的均匀分布上的均匀分布.例例例例.具有随机初位相的简谐波具有随机初位相的简谐波具有随机初位相的简谐波具有随机初位相的简谐波状状态态空空间间S=-A,A,参数集参数集T=-,+tX(tt0状态状态X(t0)=18状态状态X(t0)=25样本曲线样本曲线x1(t)样本曲线样本曲线x2(t)例例3 的样本曲线与状态的样本曲线与状态状态状态X(t0)=40样本曲线样本曲线x3(t)X(t)t10203040506070024状态空间状态空间S=0,1,2,.,T=0,24,)例例.生物群体的增长问题生物群体的增长问题.以以t表示在时刻表示在时刻t某种生物群体的个数某种生物群体的个数,则对每一则对每一个固定的个固定的t,t是一个随机变量是一个随机变量如果从如果从t开始每隔开始每隔24小时对群体的个数观察一次，则对每一个小时对群体的个数观察一次，则对每一个t，t是一是一族随机变量族随机变量t0状状态态X(t0)=18状状态态X(t0)=25样样本曲本曲线线x1(t三、随机过程三、随机过程的分类的分类1、按参数集和状态分类、按参数集和状态分类 参数集参数集T的是一个可列集的是一个可列集T=0，1，2，离散参数离散参数连续参数连续参数参数参数分类分类参数集参数集T的是一个不可列集的是一个不可列集状态状态分类分类离散状态离散状态连续状态连续状态取值是离散的取值是离散的取值是连续的取值是连续的三、随机三、随机过过程的分程的分类类1、按参数集和状、按参数集和状态态分分类类 参数集参数集T的是的是T离散、离散、I离散离散T离散、离散、I非离散（连续）非离散（连续）参数参数T状态状态I分类分类T非离散（连续）非离散（连续）、I离散离散T非离散（连续）非离散（连续）、I非离散非离散（连续）（连续）T离散、离散、I离散离散 T离散、离散、I非离散（非离散（连续连续）参数）参数T状状态态I分分类类T非非离散参数离散参数,离散状态的随机过程离散状态的随机过程 (例例3)离散参数离散参数,连续状态的随机过程连续状态的随机过程 (例例4)连续参数连续参数,离散状态的随机过程离散状态的随机过程 (例例1)连续参数连续参数,连续状态的随机过程连续状态的随机过程 (例例2)参数集为离散的随机过程也称为参数集为离散的随机过程也称为随机序列，随机序列，或或时间序列时间序列离散参数离散参数,离散状离散状态态的随机的随机过过程程 (例例3)参数集参数集2随机过程的有限维分布函数族随机过程的有限维分布函数族设设X(t),tTT是是S.P.S.P.1.一维分布函数一维分布函数对任意对任意tT,X(t)为一随机变量为一随机变量.称其分布称其分布函数函数 F(t;x)=P(X(t)x),x R为随机过程为随机过程X(t),tT的一维分布函数的一维分布函数.2随机随机过过程的有限程的有限维维分布函数族分布函数族设设X(t),t T是是S.2.2.二维分布函数二维分布函数对任意固定的对任意固定的t1,t2T,X(t1),X(t2)为两个随机为两个随机变量变量.称其联合分布函数称其联合分布函数 F(t1,t2;x1,x2)=P(X(t1)x1,X(t2)x2),x1,x2R为随机过程为随机过程X(t),tT的二维分布函数的二维分布函数.2.二二维维分布函数分布函数对对任意固定的任意固定的t1,t2 T,X(t1)对任意固定的对任意固定的t1,t2,tnT,X(t1),X(t2),X(tn)为为n个随机变量个随机变量.称其联合分布函数称其联合分布函数 F(t1,t2,tn;x1,x2,xn)=P(X(t1)x1,X(t2)x2 X(tn)xn)x1 x2,xn R为随机过程为随机过程X(t),tT的的n维分布函数维分布函数.3.n维分布函数维分布函数 对对任意固定的任意固定的t1,t2,tn T,X(t1),称随机过程称随机过程X(t),tTT的一维分布函数的一维分布函数,二维二维分布函数分布函数,n,n维分布函数维分布函数,的全体的全体 为随机为随机过程的过程的有限维分布函数族有限维分布函数族.有限维分布函数族定义有限维分布函数族定义注注:有限维分布函数族能够描述随机过程的有限维分布函数族能够描述随机过程的 统计特性统计特性.称随机称随机过过程程X(t),t T的一的一维维分布函数分布函数,二二维维分布函数分布函数有限维分布函数族的性质有限维分布函数族的性质对称性对称性相容性相容性 设设mn,则则有限有限维维分布函数族的性分布函数族的性质质对对称性相容性称性相容性设设mn,则则例例1.1.设随机过程设随机过程 X(t)=VcosX(t)=Vcost,t(-,+),t,t(-,+),其中其中为常数为常数,V V服从服从0,10,1上的均匀分布上的均匀分布.确定确定X(t),X(t),t(-,+)的两个样本函数的两个样本函数.求求t=0,t=3t=0,t=3/4/4时时,随机变量的概率密度函数随机变量的概率密度函数.求求t=t=22 时时X(t)的分布函数的分布函数.解解(1)取取V=1/2,1/3分别得到两个样本函数分别得到两个样本函数例例1.设设随机随机过过程程 X(t)=Vcost,t(-,+)(2)(2)概率概率论论基基础础-课课件件(3)(3)例例2 设随机过程设随机过程 X(t)=A+Bt,t0,其中其中A,B 是相互是相互独立的随机变量独立的随机变量,且都服从标准正态分布且都服从标准正态分布N(0,1).求求该随机过程的一维和二维分布该随机过程的一维和二维分布解解对任意的对任意的t0,X(t)=A+Bt,有题意知有题意知X(t)是正态分布是正态分布.又又 EX(t)=0,DX(t)=1+t2所以所以S.P.的一维分布为的一维分布为X(t)N(0,1+t2)又对任意的又对任意的t10,t20,X(t1)=A+Bt1 N(0,1+t12),X(t2)=A+Bt2 N(0,1+t22),例例2 设设随机随机过过程程 X(t)=A+Bt,t0,其中其中A,B(定理定理 正态变量的线性变换是正态变量正态变量的线性变换是正态变量)page24 定理定理1.5.3(3)由由A,B独立知独立知,(A,B)服从二维正态服从二维正态分布分布所以所以(X(t1),X(t2)也服从二维正态也服从二维正态分布分布(定理定理 正正态变态变量的量的线线性性变换变换是正是正态变态变量量)由由A,B独立知独立知,所以协方差矩阵为所以协方差矩阵为所以所以协协方差矩方差矩阵为阵为而而(X(t1),X(t2)的均值向量为的均值向量为 =(0,0)所以该所以该S.P.的二维分布为的二维分布为而而(X(t1),X(t2)的均的均值值向量向量为为 =(0例例3.其中其中A具有以下概率分布具有以下概率分布试求试求(1)该该S.P.的一维分布函数的一维分布函数(2)该该S.P.的二维分布函数的二维分布函数解解例例3.其中其中A具有以下概率分布具有以下概率分布试试求求(1)该该S.P.的一的一维维分布分布概率概率论论基基础础-课课件件概率概率论论基基础础-课课件件定义定义 (随机过程的有限维特征函数族随机过程的有限维特征函数族)设设X(t),tT是一个是一个S.P.对于任意固定的对于任意固定的t1,t2,tn T,X(t1),X(t2),X(tn)是是n个随机变量个随机变量,称称为为S.P.X(t),tTS.P.X(t),tT的的n n维特征函数维特征函数.(ui R,i=1,2,n)定定义义 (随机随机过过程的有限程的有限维维特征函数族特征函数族)设设X(t),t T为随机过程的有限维特征函数族为随机过程的有限维特征函数族为为随机随机过过程的有限程的有限维维特征函数族特征函数族4 随机过程的数字特征随机过程的数字特征有限维分布函数族虽然能够完整描述随机有限维分布函数族虽然能够完整描述随机过程的统计特征过程的统计特征,但是在实际中很难得到但是在实际中很难得到.因此因此,如同随机变量一样如同随机变量一样,也用数字特征来也用数字特征来表征随机过程表征随机过程.即将随机变量的数字特征即将随机变量的数字特征推广到随机过程中推广到随机过程中.但要注意其区别但要注意其区别:随机过程的数字特征随机过程的数字特征不再是确定的数不再是确定的数,而是确定的时间的函数而是确定的时间的函数.4 随机随机过过程的数字特征有限程的数字特征有限维维分布函数族分布函数族虽虽然能然能够够完整描述随机完整描述随机1.均值函数均值函数对任意的对任意的tT,T,若若EX(t)EX(t)存在存在,则称则称EX(t)为为S.P.X(t)的的 均值函数均值函数.记记mX(t)即即 mX(t)=EX(t)tT设设X(t)是一是一S.P.1.均均值值函数函数对对任意的任意的t T,若若EX(t)存在存在,则则称称E2.方差函数方差函数设设X(t)是一是一S.P.对任意的对任意的tT,若若 DX(t)=EX(t)-mX(t)2 存在存在,则称则称DX(t)为为S.P.X(t)的的方差函数方差函数.记记DX(t).即即 DX(t)=EX(t)-mX(t)2 tT2.方差函数方差函数设设X(t)是一是一S.P.对对任意的任意的t T,若若3.协方差函数协方差函数设设X(t)是一是一S.P.对任意的对任意的s,tT,若若 Cov(X(s),X(t)=EX(s)-mX(s)X(t)-mX(t)存在存在,则称则称Cov(X(s),X(t)为为S.P.X(t)的的协方差函数协方差函数.记记 CX(s,t).即即 CX(s,t)=EX(s)-mX(s)X(t)-mX(t)s,tT3.协协方差函数方差函数设设X(t)是一是一S.P.对对任意的任意的s,t 4.相关函数相关函数设设X(t)是一是一S.P.对任意的对任意的s,tT,若若EX(s)X(t)存在存在,则称则称EX(s)X(t)为为S.P.X(t)的的相关函数相关函数.(自相关函数自相关函数)记记RX(s,t).即即 RX(s,t)=EX(s)X(t)s,tT显然显然 mX(t)=0时时,CX(s,t)=RX(s,t)4.相关函数相关函数设设X(t)是一是一S.P.对对任意的任意的s,t T,5.均方值函数均方值函数设设X(t)是一是一S.P.对任意的对任意的tT,若若EX(t)2存在存在,则称则称EX(t)2为为S.P.X(t)的的均方值函数均方值函数.记记X(t).即即 X(t)=EX(t)2 tT5.均方均方值值函数函数设设X(t)是一是一S.P.随机过程的数字特征有如下关系随机过程的数字特征有如下关系CX(s,t)=RX(s,t)-mX(s)mX(t)s,tTT DX(t)=CX(t,t)tTX(t)=RX(t,t)tT 所以最关键的数字特征是均值函数所以最关键的数字特征是均值函数与相关函数与相关函数随机随机过过程的数字特征有如下关系程的数字特征有如下关系CX(s,t)=RX(s,t)-1.设设S.P.X(t)=acos(t+).a,常数常数,U0,2 求该过程的均值函数求该过程的均值函数,相关函数相关函数,方差函数方差函数.1.解解设设S.P.X(t)=acos(t+).a,常数常数,概率概率论论基基础础-课课件件2.设设S.P.X(t)=Acost+Bsint t0,为常数为常数.A,B相互独立相互独立,同服从正态分布同服从正态分布N(0,2)求该过程的数字特征求该过程的数字特征.解解2.设设S.P.X(t)=Acost+Bsint 5 两个随机过程的联合分布和两个随机过程的联合分布和 数字特征数字特征在实际问题中在实际问题中,有时需要同时考虑两个或者有时需要同时考虑两个或者两个以上的随机过程两个以上的随机过程.例如例如:一个线性系统的输入信号和输入噪声两者可能一个线性系统的输入信号和输入噪声两者可能同为随机过程同为随机过程.同时考虑一个线性系统的随机输入和随机输出同时考虑一个线性系统的随机输入和随机输出的关系等的关系等.5 两个随机两个随机过过程的程的联联合分布和在合分布和在实际问题实际问题中中,有有时时需要同需要同时时考考虑虑定义定义 设设X(t),tTT和和 Y(t),tT 是是 两个随机过程两个随机过程.则称则称 X(t),Y(t),tT是二维随机过程是二维随机过程.二维过程的概率分布与数字特征有以下定义二维过程的概率分布与数字特征有以下定义定定义义 设设X(t),t T和和Y(t),t T 是二是二维过维过定义定义 设设X(t),Y(t),tT是二维随机过程是二维随机过程.定定义义 设设X(t),Y(t),t T是二是二维维随机随机过过程程.概率概率论论基基础础-课课件件定义定义 设设X(t),Y(t),tT是二维是二维S.P.则对任则对任 意意s,tT,X(s)Y(t)是两个随机变量是两个随机变量.(1)若若EX(s)Y(t)存在存在,则称则称 EX(s)Y(t)=RX,Y(s,t)为该二维为该二维S.P.的的互相关函数互相关函数定定义义 设设X(t),Y(t),t T是二是二维维S.P.则对则对(2)若若cov(X(s),Y(t)=E(X(s)-mX(s)(Y(t)-mY(t)存在存在,则称则称 cov(X(s),Y(t)=CXY(s,t)为该二维为该二维S.P.的的互协方差函数互协方差函数显然有显然有 CXY(s,t)=RXY(s,t)-mX(s)mY(t)(2)若若显显然有然有 CXY(s,t)=RXY(s,t)-mX(定义定义 设设X(t),tT,Y(t),tT是二个是二个 S.P.若若 CXY(s,t)=0 或或 RX,Y(s,t)=mX(s)mY(t)s,tT,则称则称S.P.X(t),tT与与S.P.Y(t),tT不相关不相关.结论结论 若若S.P.X(t),tT和和S.P.Y(t),tT相互独立相互独立,则则 X(t),tT和和Y(t),tT不相关不相关定定义义 设设X(t),t T,Y(t),t T是二是二6.复随机过程及其数字特征复随机过程及其数字特征定义定义 设设X(t),tT和和Y(t),tT 是定义是定义 在同一概率空在同一概率空 间间(,F,P)上的两个上的两个 实实随机过程随机过程.令令 Z(t)=X(t)+jY(t)tT 则称则称Z(t),tT是复随机过程是复随机过程.6.复随机复随机过过程及其数字特征定程及其数字特征定义义 设设X(t),t T和和定义定义 设设Z(t),tT是复是复S.P.对任意对任意t T,称称 mZ(t)=EZ(t)为为复复S.P.的均值函数的均值函数 称称 DZ(t)=DZ(t)=E|Z(t)-mZ(t)|2 为为复复S.P.的方差函数的方差函数定定义义 设设Z(t),t T是复是复S.P.对对任意任意t T,称称 Z(t)=E|Z(t)|2 为为复复S.P.的均方值函数的均方值函数.对任意的对任意的s,tT,T,称称 RZ(s,t)=EZ(s)Z(t)为为复复S.P.的相关函数的相关函数.称称 CX(s,t)=cov(Z(s),Z(t)=E(Z(s)-mz(s)(Z(t)-mz(t)为为复复S.P.的协方差函数的协方差函数.称称 Z(t)=E|Z(t)|2 由以上定义可得由以上定义可得(1)mZ(t)=mX(t)+jmY(t)tTT(2)DZ(t)=DX(t)+DY(t)tT(3)CZ(s,t)=RZ(s,t)-mZ(s)mZ(t)s,tTT由以上定由以上定义义可得可得(1)mZ(t)=mX(t)+jmY(t)反映两个复随机过程之间相关程度的反映两个复随机过程之间相关程度的数字特征数字特征(1)互协方差函数互协方差函数 设设Z1(t),tT,T,Z2(t),tT是两个复是两个复S.P.(2)互相关函数互相关函数反映两个复随机反映两个复随机过过程之程之间间相关程度的数字特征相关程度的数字特征(1)互互协协方差函数方差函数 例2.6.1 设 ，其中 是正常数，为固定的正整数，是相互独立的实随机变量，且 求 的均值函数和相关函数。例例2.6.1 设设 7 几类重要的随机过程几类重要的随机过程之前按照参数和状态对随机过程进行了简单的分类之前按照参数和状态对随机过程进行了简单的分类.随机过程可以按照不同的标准进行分类随机过程可以按照不同的标准进行分类.本讲按照随机过程所具有的一些性质本讲按照随机过程所具有的一些性质,介绍几类重要介绍几类重要的随机过程的随机过程:二阶矩过程二阶矩过程 正态过程正态过程 正交增量过程正交增量过程 独立增量过程独立增量过程 Wiener过程过程 Poisson过程过程7 几几类类重要的随机重要的随机过过程之前按照参数和状程之前按照参数和状态对态对随机随机过过程程进进行了行了简简1.二阶矩过程二阶矩过程定义定义若若S.P.X(t),tTS.P.X(t),tT的一、二阶矩存在，的一、二阶矩存在，则称则称.X(t),tT.X(t),tT是是二阶矩过程二阶矩过程1.二二阶阶矩矩过过程定程定义义若若S.P.X(t),t T的一、二的一、二阶阶注注 二阶矩过程的均值函数与相关函数一定存在二阶矩过程的均值函数与相关函数一定存在可利用均值函数和相关函数讨论二阶矩阵过程可利用均值函数和相关函数讨论二阶矩阵过程的性质的性质.(下章内容下章内容)二阶矩过程的相关函数具有以下性质二阶矩过程的相关函数具有以下性质注注 二二阶阶矩矩过过程的均程的均值值函数与相关函数一定存在可利用均函数与相关函数一定存在可利用均值值函数和函数和 定理定理 设设X(t),tTX(t),tT是二阶矩过程是二阶矩过程,则相关函数则相关函数R RX X(s,t)(s,t)有有 (1)(1)共轭对称性共轭对称性 R RX X(s,t)=R(s,t)=RX X(t,s)(t,s)(2)非负定性非负定性 对任意对任意 t1,t2,tnT,T,任意复数任意复数 1,2,n有有证明证明(1)RX(s,t)=EX(s)X(t)=EX(s)X(t)=RX(t,s)定理定理 证证明明(1)RX(s,t)=EX(s)X(t)=(2)(2)2.正态过程正态过程补充补充:n维正态随机变量分布及性质维正态随机变量分布及性质2.正正态过态过程程补补充充:n维维正正态态随机随机变变量分布及性量分布及性质质概率概率论论基基础础-课课件件 正态过程定义正态过程定义 设设X(t),tT是是S.P.,若对任意的若对任意的n1 及及t1,t2,tnTT,X(t1),X(t2),X(tn)是是n维正态随机变量维正态随机变量,则称则称S.P.X(t),tT为为正态过程正态过程或或高斯过程高斯过程 正正态过态过程定程定义义 注意注意(1)若若X(t),tT是一族正态随机变量是一族正态随机变量,但但X(t),tT不一定是正态过程不一定是正态过程.(2)正态过程的有限维分布由其均值函数正态过程的有限维分布由其均值函数 与相关函数完全确定与相关函数完全确定.(3)正态过程是二阶矩过程正态过程是二阶矩过程.注意注意 若若X(t),t T是一族正是一族正态态随机随机变变量量,(2)举例举例独立的独立的r.v.，且都服从正态分布，且都服从正态分布N(0,2 2),),是常数是常数设设S.P.试证明试证明 该过程是正态过程，并求它的有限维分布该过程是正态过程，并求它的有限维分布,其中其中A,B为相互为相互举举例独立的例独立的r.v.，且都服从正，且都服从正态态分布分布N(0,2),是常数是常数3.正交增量过程正交增量过程定义定义 设设X(t),tT是二阶矩过程，若对任意的是二阶矩过程，若对任意的 t1t2 t3 t4TT 都有都有则称则称S.P.X(t),tT是一是一正交增量过程正交增量过程.注注:这里这里=EXY可视为内积可视为内积3.正交增量正交增量过过程定程定义义 设设X(t),t T是二是二阶阶矩矩过过程，若程，若 若若T取为有限区间取为有限区间a,b,对对 特别的，当特别的，当X(a)=0时，有时，有 若若T取取为为有限区有限区间间a,b,对对 特特别别的，当的，当X(a)=定理定理 设设X(t),ta,ba,b是正交增量过程是正交增量过程,且且X(a)=0,则则(2)X X(t)(t)是单调不减函数是单调不减函数(1)定理定理 设设X(t),t a,b是正交增量是正交增量过过程程,(24 独立增量过程独立增量过程设设X(t),tTT是一是是一是S.P.如果对如果对是相互独立的随机变量，则称是相互独立的随机变量，则称X(t),tT是是独立增量过程独立增量过程以及以及有有直观地说直观地说,它具有它具有“在互不重叠的区间上在互不重叠的区间上,状态状态的增量是相互独立的的增量是相互独立的”这一特征这一特征.4 独立增量独立增量过过程程设设X(t),t T是一是是一是S.P.如果如果对对如果对于任意如果对于任意 stT,T,X(t)-X(s)X(t)-X(s)的分布仅依赖于的分布仅依赖于t-s，而与，而与s,t本身取本身取值无关，则称值无关，则称X(t),tT 为为平稳增量过程平稳增量过程如果如果S.P.X(t),tT既是平稳增量过程，又是既是平稳增量过程，又是独立增量过程，则称独立增量过程，则称X(t),tT 为为平稳的独平稳的独立增量过程立增量过程即：即：增量增量X(t)X(s)的分布函数实际的分布函数实际上只依赖于时间差上只依赖于时间差t-s，而不依赖于，而不依赖于t t与与s s本身本身,即与观察的其始时刻无关。即与观察的其始时刻无关。如果如果对对于任意于任意 st T,如果如果S.P.X(t),t T定理定理 独立增量过程的有限维分布函数由其一独立增量过程的有限维分布函数由其一维分布函数和增量分布函数确定维分布函数和增量分布函数确定 证明思路证明思路 由于随机变量的分布函数与特征函数一一对应由于随机变量的分布函数与特征函数一一对应.只需证只需证 独立增量过程的有限维独立增量过程的有限维特征函数特征函数由其一维特征由其一维特征 函数和增量特征函数确定函数和增量特征函数确定定理定理 证证明思路明思路 证明证明n维随机变量的维随机变量的的特征函数为的特征函数为令令则则代入代入式式由题意知由题意知 Y1,Y2,Yn独立独立证证明明n维维随机随机变变量的的特征函数量的的特征函数为为令令则则代入代入式由式由题题意知意知 Y1,由由Y1Y2,Yn的独立性的独立性证毕证毕由由Y1Y2,Yn的独立性的独立性证毕证毕Wiener过程过程称称实实S.P.W(t),t0是参数为是参数为2 2的的Wiener过程过程,如果如果是平稳的独立增量过程是平稳的独立增量过程Wiener过过程称程称实实S.P.W(t),t0是参数是参数为为1.布朗运动简介布朗运动简介 英国植物学家布朗英国植物学家布朗(Brown)在显微镜下在显微镜下,爱因斯坦爱因斯坦(Enisten)1905年提出一种理论年提出一种理论,维纳过程的数学模型漂浮在平静的液面上的微小粒子漂浮在平静的液面上的微小粒子,进行着杂乱无章的运动进行着杂乱无章的运动,为微粒的这种运动是由于受到大量随机的、相互为微粒的这种运动是由于受到大量随机的、相互独立的分子碰撞的结果独立的分子碰撞的结果.观察观察发现它们不断地发现它们不断地这种现象称为布朗运动这种现象称为布朗运动.认认1.布朗运布朗运动简动简介介 英国植物学家布朗英国植物学家布朗(Brown)在在显显布朗运动计算机模拟结果布朗运动计算机模拟结果 n=100n=500n=1000n=5000n=10000n=50000布朗运布朗运动计动计算机模算机模拟结拟结果果 n=100n=500n=概率概率论论基基础础-课课件件由于粒子的运动完全是由液体分子的不规则由于粒子的运动完全是由液体分子的不规则 碰撞而引起的碰撞而引起的,因此因此,在不相重叠的时间间隔内在不相重叠的时间间隔内,碰撞的次数、大小和方向可假定是相互独立的碰撞的次数、大小和方向可假定是相互独立的.由于粒子的运由于粒子的运动动完全是由液体分子的不完全是由液体分子的不规则规则 碰撞而引起碰撞而引起液面处于平衡状态液面处于平衡状态,这时粒子在一时段上位移这时粒子在一时段上位移 的概率分布可以认为只依赖于这时段的长度的概率分布可以认为只依赖于这时段的长度,而与而与 观察的起始时刻无关观察的起始时刻无关.液面液面处处于平衡状于平衡状态态,这时这时粒子在一粒子在一时时段上位移段上位移 的概率分的概率分定理定理设设 W(t),t0是参数为是参数为2的的Wiener过程过程.则则证明证明(1)由定义由定义,显然成立显然成立.(2)由由(1)易知有易知有定理定理设设 W(t),t0是参数是参数为为2的的Wiener过过程程.对对s0,0,t 0,0,不妨设不妨设 st,t,则则独立性独立性对对s0,t 0,不妨不妨设设 st,则则独立性独立性定理定理 Wiener过程是正态过程过程是正态过程证明证明 设设 W(t),t0是参数为是参数为2的的Wiener过程过程.则对任意的则对任意的n1,1,以及任意的以及任意的W(t1),W(t2),W(tn)是是n维随机变量维随机变量由由Wiener过程的定义知过程的定义知相互独立相互独立所以所以是是n维正态随机变量维正态随机变量.定理定理 Wiener过过程是正程是正态过态过程程证证明明设设 W(t),t又由于又由于所以所以是是n维正态变量维正态变量.所以所以W(t),t0是正态过程是正态过程.又由于所以是又由于所以是n维维正正态变态变量量.所以所以W(t),t0是正是正态过态过程程Poisson过程过程计数过程计数过程 称称实实随机过程随机过程N(t),t0是计数过程，是计数过程，如果如果N(t)表示直到表示直到t时刻为止发生的某随机事时刻为止发生的某随机事件数件数性质性质 N N(t t)是非负整数是非负整数 表示时间间隔表示时间间隔t-s内发生的随机事件数内发生的随机事件数Poisson过过程程计计数数过过程程 称称实实随机随机过过程程N(t),t实例实例1.电话交换台的呼叫次数电话交换台的呼叫次数2.放射性裂变的质点数放射性裂变的质点数3.发生故障而不能工作的机器数发生故障而不能工作的机器数4.通过交通路口的车辆数通过交通路口的车辆数5.来到某服务窗口的顾客数来到某服务窗口的顾客数.以上实例中的呼叫以上实例中的呼叫,质点质点,机器机器,车辆车辆,顾客等也顾客等也统一叫做统一叫做随机点随机点实实例例1.电话电话交交换换台的呼叫次数以上台的呼叫次数以上实实例中的呼叫例中的呼叫,质质点点,机器机器,车车陆续地出现在时间轴上的许多质点所构陆续地出现在时间轴上的许多质点所构成的随机成的随机 的质点流的质点流.称为称为计数过程计数过程.研究的对象可以认为是研究的对象可以认为是随时间推移随时间推移,陆续陆续地出地出现现在在时间轴时间轴上的上的许许多多质质点所构成的随机点所构成的随机 的的质质点流点流.称称为计为计计数过程的一个典型的样本函数计数过程的一个典型的样本函数如图如图计计数数过过程的一个典型的程的一个典型的样样本函数如本函数如图图Poisson过程定义过程定义若计数过程若计数过程 N(t),t0 满足满足是平稳的独立增量过程是平稳的独立增量过程服从参数是服从参数是t t 的的Poisson分布分布,即即则称计数过程则称计数过程N(t),t0是