卢正新《随机过程》第一章介绍

1 随 机 过 程v卢 正 新 （ 副 教 授 ）v13995545240 vEmail: 2 教 材 或 参 考 书v An Introduction to Stochastic Processes 随 机 过 程 引 论 （ 英 文 版 ） Edward P.C. Kaov Basic Stochastic Processes 随 机 过 程 基 础 Zdzisilaw Brzeniak; Tomasz Zastawniakv 随 机 过 程刘 次 华 编华 中 科 技 大 学 出 版 社 v 应 用 随 机 过 程林 元 烈清 华 大 学 出 版 社 3 课 程 大 纲v 第 一 章 ： 概 率 论 与 随 机 过 程 介 绍v 第 二 章 ： 泊 松 过 程v 第 三 章 ： 马 尔 柯 夫 链v 第 四 章 ： 连 续 时 间 的 马 尔 柯 夫 链v 第 五 章 ： 布 朗 运 动 与 鞅 4 第 一 章 ： 介 绍v简 要 回 顾 一 下 概 率 论 中 与 本 课 程 有 关 的 基 本概 念 ： 随 机 试 验 、 样 本 空 间 、 事 件 、 概 率 、随 机 变 量 等v随 机 过 程 的 概 念 、 分 类 5 随 机 试 验v 试 验 结 果 事 先 不 能 准 确 预 言 ， 三 个 特 征 :可 以 在 相 同 条 件 下 重 复 进 行 ；每 次 试 验 结 果 不 止 一 个 ， 可 预 先 知 道 试 验 所 有 可 能结 果 ；每 次 试 验 前 不 能 确 定 那 个 结 果 会 出 现 。样 本 空 间随 机 试 验 所 有 可 能 结 果 组 成 的 集 合 ， 记 为 事 件样 本 空 间 的 子 集 A称 为 事 件 集 合 运 算 6 古 典 概 率v 随 机 试 验 中 一 切 可 能 结 果 是 有 限 多 个 ；v 每 个 结 果 出 现 的 可 能 性 是 相 等 的 ；v 则 事 件 A发 生 的 概 率 可 表 示 为 个 数样 本 空 间 中 所 含 样 本 点所 包 含 的 样 本 点 个 数事 件 A)( AP 7 几 何 概 率v 计 算 无 穷 个 基 本 事 件 的 情 形 ；v 样 本 点 具 有 均 匀 分 布 的 性 质 ；v 设 用 L() 作 为 区 域 大 小 的 量 度 ， 而 区 域 中 任意 可 能 出 现 的 小 区 域 A的 量 度 用 L(A)表 示 ；v 则 事 件 A（ 或 某 一 区 域 ） 发 生 的 概 率 表 示 为 )( )()( L ALAP 8 统 计 概 率v 用 于 计 算 前 两 种 随 机 概 率 概 括 不 了 的 随 机 事 件 概 率 ；v 用 事 件 的 频 率 近 似 地 去 表 达 事 件 的 概 率 ；v 若 在 同 样 的 条 件 下 ， 将 随 机 试 验 独 立 的 重 复 做 n次 ， 事 件 A出 现 了 nA次 ， 则 事 件 A的 频 率 是nnf AA v 当 试 验 次 数 n增 大 时 ， 其 中 大 量 的 频 率 聚 集 在 一 个 常 数 周 围 ;v 这 个 常 数 是 客 观 存 在 的 ， 反 映 了 事 件 A出 现 可 能 性 的 大 小 ，我 们 认 为 这 个 常 数 就 是 事 件 的 概 率 。 )(APfA 9 v 规 定 一 个 随 机 试 验 ， 所 有 样 本 点 之 集 合 构 成 样 本 空 间 ， 在样 本 空 间 中 一 个 样 本 点 或 若 干 个 样 本 点 之 适 当 集 合 F称 为 集合 类 或 域 ， F中 的 每 一 个 集 合 称 为 事 件 。v 并 不 是 所 有 的 的 子 集 都 能 方 便 地 定 义 概 率 ， 要 有 限 制 。v 例 如 ： 掷 骰 子 ， =1,2,3,4,5,6 F=,1, , 6,1,2, , 6,6,1,2,3, , F=, 小 点 ,大 点 ， 小 点 =1,2,3； 大 点 =4,5,6 但 在 F=,1 , 大 点 上 定 义 概 率 就 有 问 题 。 10F DeMorgan FFF注 ： 设 若 为 域 ， 根 据 法 则 ， 对 可 数 次交 、 并 、 差 运 算 封 闭 ， 即 中 的 任 何 元 素 经 可 数 次 集合 运 算 后 仍 属 于 。 F 定 义 ： 设 是 由 的 某 些 子 集 构 成 的 非 空 集 类 ， 若 满 足 ：1 F ）2 CA F A F ） 若 ， 则3 n nA F n N A F n=1） 若 ， ， 则F F 则 称 为 域 （ 代 数 ） ， 称 （ ， ） 为 可 测 空 间 。 11 0 ,F 例 ： ， 平 凡 域 1 , , ,CF A A 2 :F A A 3 , ,F A ( ) ( ) A 定 义 ： 是 由 的 子 集 构 成 的 集 类 ， 一 切 包 含 的 域 的 交记 为 ， 称 为 由 生 成 的 域 （ 包 含 的 最 小 域 ） 。 3F例 ： 求 （ ） ( , ): , )Borel B a b a b R 例 ： 域 ， ( , : ) ( , : ) ( , : )B a b a b Rb b Rb b Q Q 可 以 验 证 ： ， 表 示 有 理 数 12 定 义 ： 设 （ ,F） 为 可 测 空 间 ， P是 定 义 在 F上 的 集 函数 ， 若 满 足 ：1. 0P(A) 1， ;2. P()=1;3. 若 A1,A2,.,Ak两 两 互 斥 ， 则 11 )()( k kk k APAP称 P为 可 测 空 间 （ ,F） 的 一 个 概 率 测 度 ， 简 称 概 率 ； 称（ ,F,P） 为 一 个 概 率 空 间 ； F为 事 件 域 ， A为 事 件 ， P(A)为 事 件 A的 概 率 。 A F 13 例 ： U0,10,1区 间 上 的 均 匀 分 布 ： =0,1 ，F=B0,10,1区 间 上 的 Borel域 ， U0,1的 概 率 P定 义为 ： 令 A为 0,1上 全 体 有 理 数 ， AC为 0,1上 全 体 无 理 数 。 1） 证 明 2） 证 明 P(A)=0， P(AC)=1( , ) 0,1 ( )A a b B P A b a ，0,1 0,1CA B A B ， 14 条 件 概 率v 在 事 件 B已 发 生 这 一 条 件 下 ， 事 件 A发 生 的 概 率 。)( )()|( BP BAPBAP 全 概 率 公 式 ：v 若 有 N个 互 斥 事 件 Bn（ n=1,2,N） ， 它 的 并 集 等于 整 个 样 本 空 间 ， 则 Ni ii BPBAPAP 1 )()|()( 15 v 设 事 件 A1， A2， ， An构 成 一 个 完 备 事 件 组 ， 概 率P(Ai)0,i=1,2,n,对 于 任 何 一 个 事 件 B， 若 P(B)0, 有 Ni ii iii ABPAP ABPAPBAP 1 )|()( )|()()|(贝 叶 斯 公 式独 立 事 件 ( ) ( ) ( )P AB P A P Bv 独 立 的 等 价 命 题 ： 1） A， B独 立 ； 2） A， BC独 立 ； 3） P(A/B)=P(A)； 4） P(A/BC)=P(A)v 思 考 ： 独 立 与 互 斥 的 关 系 16 v 事 件 A1， A2， ， An看 作 是 导 致 事 件 B发 生 的 “ 因 素 ”， P(Ai )是 在 事 件 B已 经 出 现 这 一 信 息 得 知 前 Ai出 现 的 概 率， 通 常 称 为 先 验 概 率 。v 在 试 验 中 事 件 B的 出 现 ， 有 助 于 对 导 致 事 件 B出 现 的 各 种 “因 素 ” 发 生 的 概 率 作 进 一 步 探 讨 ， 公 式 给 出 的 P(Ai B)是在 经 过 试 验 获 得 事 件 B已 经 发 生 这 个 信 息 之 后 ， 事 件 Ai发 生的 概 率 ， 称 为 后 验 概 率 。v 后 验 概 率 依 赖 于 试 验 中 得 到 的 新 信 息 的 具 体 情 况 （ 比 如 事件 B发 生 还 是 事 件 B补 发 生 ） ， 并 且 给 出 在 获 得 新 信 息 之 后， 导 致 B出 现 的 各 种 因 素 Ai发 生 情 况 的 新 知 识 ， 因 此 贝 叶 斯公 式 又 称 为 后 验 概 率 公 式 或 逆 概 率 公 式 。 先 验 概 率 与 后 验 概 率 17 随 机 变 量定 义 ：设 （ ， F， P） 是 概 率 空 间 ， X=X(e)是 定 义 在 上 的 实 函 数 ，如 果 对 任 意 实 数 x， e:X(e) x F， 则 称 X(e)是 F上 的 随 机变 量 （ X也 称 为 F可 测 的 ） 。 18 事 件 随 机 变 量离 散 型 随 机 变 量 ：只 取 有 限 个 数 值 或 可 列 无 穷 多 个 值 。连 续 型 随 机 变 量 ：从 原 样 本 空 间 到 新 样 本 空 间 的 映 射 是某 一 个 范 围 ， 是 一 段 （ 或 几 段 ） 实 线（ 也 可 能 是 整 个 坐 标 轴 ） ， 随 机 变 量可 以 取 值 于 某 一 区 间 中 的 任 一 数 。 19 分 布 函 数 （ 一 个 描 述 随 机 变 量 取 值 的 概率 分 布 情 况 的 统 一 方 法 ） xxeXePxF ),)(:()(性 质 ：1.F(x)是 非 降 函 数 ；2.0F(x) 1；3.Px1Xx2=F(x2)-F(x1)4.F(x)是 右 连 续 。 20 概 率 密 度 函 数 ： 分 布 函 数 的 导 数( )( ) dF xf x dx性 质 ：1. ；2. ；3. ( ) 1f x dx 211 2 2 1 ( ) ( ) ( )xxP x X x F x F x f x dx ( ) 0f x 对 离 散 型 随 机 变 量 ， 其 概 率 密 度 可 以 用 函 数 来 表 示 ： 1 )()()( k kkX xxxXPxf 21 离 散 型 随 机 变 量 的 概 率 分 布 用 分 布 列 描 述0 1分 布二 项 分 布泊 松 分 布 qXPpXP )0(,)1( knkkn qpCkXP )( ekkXP k!)(连 续 型 随 机 变 量 的 概 率 分 布 用 概 率 密 度 描 述均 匀 分 布 正 态 分 布指 数 分 布 其 它,0 ,1)( bxaabxf 2 22 )(21)( axexf 0,0 0,)( xxexf x 22 随 机 变 量 函 数 的 分 布在 给 定 某 任 意 的 随 机 变 量 X， 以 及 它 的 概 率 分 布 函 数FX(x)， 希 望 进 一 步 求 出 给 定 的 随 机 变 量 的 某 些 可 测 函 数（ 如 Y=g(X)） 的 概 率 分 布 函 数 。Y的 概 率 分 布 函 数 公 式 为 ),)(:()( XY xyxgxPyF 如 果 上 式 右 端 概 率 的 导 数 对 于 y处 处 存 在 ， 那 么 这 个 导 数就 给 出 了 随 机 变 量 Y的 概 率 密 度 ),)(:()( XY xyxgxPdydyf 23 （ 一 ） g(x)是 可 导 的 单 调 函 数 ， 其 反 函 数 为 x=g-1(y)。若 g(x)是 单 调 上 升 函 数 ， 则 有 ： 1 1( ) ( ) ( : ( ) , ) ( : ( ) ( ( )Y X XF y PY y P x g x y x P x x g y F g y 111 ( )( )( ) ( ( ) ( )Y X X x g ydg y dxf y f g y f xdy dy 1 111 ( ) ( )( )( ) ( ( ) ( ) ( )Y X X Xx g y x g ydg y dx dxf y f g y f x f xdy dy dy 两 边 求 导 得 ：同 理 ， 若 g(x)是 单 调 下 降 函 数 ， 则 有 ：综 合 两 种 情 况 ， 对 任 意 的 单 调 可 导 函 数 g(x)， 有 ：1( )( ) ( ) ( )Y X x g y dxf y f x J J dy ： 雅 可 比 1 1( ) ( ) ( : ( ) ) 1 ( : ( ) 1 ( ( )Y XF y PY y P x g x y P x x g y F g y 24 （ 二 ） 若 g(x)是 不 是 单 调 函 数 ， 其 反 函 数 有 多 个 值 ， 即 对 一个 y， 有 多 个 x与 之 对 应 。若 一 个 y值 有 两 个 x值 ， x1=h1(y)和 x2=h2(y)与 之 对 应 ， 可 证 ：1 21 2 1 1 2 2( ) ( ) + ( ) = ( ) + ( )Y X X X Xdx dxf y f x f x f x J f x Jdy dy同 理 ， 若 一 个 y值 有 n个 x值 ， x1=h1(y)， ， xn=hn(y)与 之 对应 ， 则 有 ： 1 1( ) = ( ) + + ( )Y X X n nf y f x J f x J 例 ： X为 0,2上 的 均 匀 分 布 ， 求 Y=cos(X)的 概 率 密 度 。 25 n维 随 机 变 量 及 其 分 布 函 数设 （ ， F， P） 是 概 率 空 间 ， X=X(e) （ X1(e),Xn(e)）是 定 义 在 上 的 n维 空 间 Rn中 取 值 的 向 量 函 数 。 如 果 对 于任 意 X=(X1,Xn) Rn， e:X1(e) x1,Xn(e) xn F，则 称 X=X(e)为 n维 随 机 变 量 。 称 )(,)(:(),()( 111 nnn xeXxeXePxxFxF 为 X=(X1,X2,Xn)的 联 合 分 布 函 数 26 边 际 分 布若 二 维 联 合 分 布 函 数 中 有 一 个 变 元 趋 于 无 穷 ， 则 其 极 限 函 数 便 是 一 维分 布 函 数 ， 对 于 这 种 特 殊 性 质 ， 我 们 称 其 为 边 际 分 布 。对 于 任 意 两 个 随 机 变 量 X,Y， 其 联 合 分 布 函 数 为 FXY(x,y)， 则),()( ),()(21 yFyF xFxF 分 别 称 F1(x)和 F2(y)为 FXY(x,y)关 于 X和 关 于 Y的 边 际 分 布 函 数 。 )(),(),(lim),()( 1 xXPYxXPyxFxFxF XYy y dudvvufyFyF ),(,)(2离 散 型 随 机 变 量 （ X， Y） 边 际 分 布 函 数 计 算 如 下连 续 型 随 机 变 量 （ X， Y） 边 际 分 布 函 数 计 算 如 下 27 相 互 独 立 的 随 机 变 量设 X， Y是 两 个 随 机 变 量 ， 若 对 任 意 实 数 x， y有 )()()()(),( yYPxXPyYxXPyYxXP 则 称 X， Y为 相 互 独 立 的 随 机 变 量 。若 X， Y为 相 互 独 立 随 机 变 量 ， 则 有 )()(),( )()(),( yfxfyxf yFxFyxF YXXY YXXY 联 合 密 度 边 际 密 度边 际 密 度联 合 密 度 28 条 件 分 布 )( )()|( BP BAPBAP )( )()|()|(| BP BxXPBxXPBxF BX )( ),()|( | yf duyufyYxF Yx XYYX 条 件 概 率 条 件 分 布 函 数两 边 对 x微 分 )( ),()|(| yf yxfyxf YXYYX x YXYX duyufyYxF )|()|( | 29 全 概 率 公 式 （ 续 ）设 A1, A2, An是 样 本 空 间 的 一 个 划 分 ， 事 件 B=Xx， 根 据 全 概 率公 式 ， 有 ： 1( ) ( | ) ( )n k kkP X x P X x A P A 即 ： 1( ) ( | ) ( )n k kkF x F X x A P A 两 边 求 导 得 ： 1( ) ( | ) ( )n k kkf x f X x A P A 这 两 个 公 式 称 为 分 布 函 数 和 概 率 密 度 的 全 概 率 公 式 。 30 随 机 变 量 的 数 字 特 征v统 计 平 均 与 随 机 变 量 的 数 学 期 望v随 机 变 量 函 数 的 期 望 值v方 差v协 方 差v相 关 系 数v独 立 与 不 相 关 31 统 计 平 均 与 数 学 期 望设 离 散 随 机 变 量 X， 它 可 能 取 4个 值 x1， x2， x3， x4， 做 试 验 n次 ， 计 算 X的算 术 平 均 可 得 ： 41 4144332211 1)(1 k k kkkk nnxnxnnxnxnxnxnX P(X=xk) 1 )()( k kk xXPxXEX对 于 离 散 型 随 机 变 量 可 以 用 函 数 来 表 示 其 概 率 密 度 1 )()()( k kkX xxxXPxf 随 机 变 量 数 学 期 望 定 义 dxxxfXE X )()( 32 随 机 变 量 函 数 的 期 望 值已 知 随 机 变 量 X的 数 学 期 望 值 ， 求 随 机 变 量 函 数 Y=g(X)的 数 学 期 望 ， dxxfxgdyyyfXgEYE XY )()()()()(对 于 多 维 随 机 变 量 nXXX21X )( XY g( ) ( ) ( )XE g f d Y X X X 33 设 X1,X2, ,Xn为 随 机 变 量 ， 求 随 机 变 量 函 数 Y=a1X1+a2X2+anXn的 数 学期 望 。 N维 随 机 变 量 的 数 学 期 望 )()()( )()()( )()( 2211 2211 2211 nn nnnn XEaXEaXEa XaEXaEXaE XaXaXaEYE 34 已 知 随 机 变 量 X1和 X2， 求 随 机 变 量 函 数 Y aX1+bX2的 数 学 期 望)()( ),(),( ),()()( 21 2121221211 212121 2121 21XbEXaE dxdxxxfxbdxdxxxfxa dxdxxxfbxaxYE XXXX XX 加 权 和 的 期 望 等 于 加 权 期 望 的 和求 数 学 期 望 是 线 性 运 算数 学 期 望 的 线 性 运 算 不 受 独 立 条 件 限 制 35 已 知 随 机 变 量 X1和 X2， 求 随 机 变 量 函 数 Y g1(X1)g2(X2)的 数 学 期 望 21212211 ),()()( 21 dxdxxxfxgxgYE xx假 设 两 个 随 机 变 量 X1和 X2相 互 独 立 ， 则 有 )()(),( 2121 1121 xfxfxxf xxxx 1 21 21 1 2 2 1 2 1 21 1 1 1 2 2 2 21 1 2 2 ( ) ( ) ( ) ( )( ) ( ) ( ) ( ) ( ) ( ) x xx xE Y g x g x f x f x dxdxg x f x dx g x f x dxE g X E g X 36 K阶 原 点 矩 （ moments） ， k阶 中 心 矩随 机 变 量 X， 若 E|X|k， 称 EXk为 k阶 原 点 矩 。 ni Xkikik dxxfxxXPxXE 1 )()( 离 散 随 机 变 量 连 续 随 机 变 量又 若 EX存 在 ， 且 E|X-EX|k ， 称 )( kXEXE 为 X的 k阶 中 心 矩 。 ni Xkikik dxxfXExxXPXExXEXE 1 )()()()()( 离 散 随 机 变 量 连 续 随 机 变 量 37 一 阶 原 点 矩 就 是 随 机 变 量 的 数 学 期 望 ， )( xxdFEX数 学 期 望 大 致 的 描 述 了 概 率 分 布 的 中 心 。 说 明 ： E|X|， 即 是 要 求 xk的 出 现 顺 序 对 随 机 变 量 的 统 计 特性 没 有 影 响 。注 意 ： 数 学 期 望 要 求 E|X|。例 ： 设 随 机 变 量 X的 分 布 律 为 ：2 1( 1) , 1,2,2kkk kP x kk 可 以 求 得 ， E|X|=， 其 期 望 值 不 存 在 （ 如 果 没 有 此条 件 ， EX=-ln2 ） 。 38 中 心 化 的 两 个 随 机 变 量 X-EX， Y-EY的 互 相 关 矩 称 为 随 机 变 量 X和 Y的协 方 差 ， ( , ) ( )( )( ) ( ) ( )XYB Cov X Y E X EX Y EYE XY E X E Y 协 方 差 是 描 述 随 机 现 象 中 ， 随 机 变 量 X和 Y概 率 相 关 的 程 度 。引 入 一 个 描 述 两 个 随 机 变 量 相 关 程 度 的 系 数DYDX YXCov defXY ),( XY称 为 归 一 化 的 协 方 差 系 数 或 相 关 系 数 。11 XY 39若 XY 0， 则 称 随 机 变 量 X和 Y不 相 关 。若 两 个 随 机 变 量 X和 Y的 联 合 矩 满 足 jiji YEXEYXE 则 称 随 机 变 量 X和 Y统 计 独 立 40 统 计 独 立 不 相 关0 )(),( YEXEXYE EYYEXXEYXCov统 计 独 立 不 相 关设 Z是 一 个 随 机 变 量 ， 具 有 均 匀 概 率 密 度 其 它,0 20,21)( zzfZ令 X=sinZ， Y=cosZ， 求 随 机 变 量 X和 Y是 否 相 关 ， 是 否 独 立 ？ 41 条 件 期 望v 示 性 函 数 （ Indicator function）v 离 散 随 机 变 量 的 条 件 期 望设 （ X,Y） 为 两 个 离 散 型 随 机 变 量 ， 称P(X=x i|Y=yj)= P(X=xi,Y=yj)/ P(Y=yj)为 给 定 Y=yj时 ， X的 条 件 分 布 律 。 称为 给 定 Y=yj时 ， X的 条 件 数 学 期 望1 ( ) 0 ( ) ( ) ( / ) ( / )AA A Ae AI e Ae AE I I dP P A E I B P A B 称 为 的 示 性 函 数 ， 有( | ) ( | )j i i jiE X Y y xP X x Y y 42 条 件 期 望 （ 续 ）v 定 义 ： 记称 E(X|Y)为 X关 于 Y的 条 件 期 望 。 思 考 ： E(X|Y)是 一 个 随 机 变 量 ， 其 概 率 分 布 如 何 求 ？v 连 续 随 机 变 量 的 条 件 期 望设 （ X,Y） 的 条 件 密 度 函 数 为其 条 件 期 望 为 ( )( | ) ( ) ( | )jY y jjE X Y I e E X Y y )( ),()|( | yf yxfyxf YXYYX |( | ) ( | )XYE X Y y xf x y dx 43 条 件 期 望 （ 续 ）v 定 义 ： 两 个 随 机 变 量 X,Y， 如 果 P(X=Y)=1， 称 X,Y几 乎 处 处 相 等 ， 记为 X=Y a.s.（ almost surely)。v 条 件 期 望 的 基 本 性 质 ： 1 1, , (1 ) ( ), ( ) , 1 )( ) ( ) ( ) 1 ( ( / ) ( / ) ( ) 2 ( | ) ( | ) . . (1 ) 3 ( ( ) ( )| ) ( ) ( ( )i iYn ni i i i ii iX Y X i n g x h y E X E X i nE g X hY E g XE E X Y E X Y y dF y EXE X Y E X Y as i nE g X hY Y hY E g X 设 为 随 机 变 量 ， 为 一 般 函 数 ， 且 （ ， ， 则 有 ：） 其 中 为 常 数 。） | ) . . ( / ) . . 4 , ( / ) Y asE X X X asX Y E X Y EX （ 已 知 的 拿 出 ） 特 别 地 ） 如 果 相 互 独 立 ， 则 （ 独 立 的 拿 掉 ） 44 条 件 期 望 （ 续 ）v 由 性 质 1， 令 X=IA， 则 有 ：( ) ( / ) ( ) ( / ) ( )Y YP A P A Y y dF y P A Y y f y dy 此 公 式 也 称 为 全 概 率 公 式 。v 设 X与 Y为 相 互 独 立 的 随 机 变 量 ， 其 分 布 分 别 为 FX(x)和 FY(y)， 证 明Z=X+Y的 分 布 FZ(z) = FX(x)*FY(y)（ 卷 积 ） 。v N个 相 互 独 立 的 随 机 变 量 序 列 的 和 的 分 布 （ 或 概 率 密 度 ） ， 为 这 N个随 机 变 量 的 分 布 （ 或 概 率 密 度 ） 的 N重 卷 积 。 45 生 成 函 数v 定 义 ： 设 an为 数 字 序 列 ， 称 该 序 列 的 Z-变 换 为 an的 生 成 函 数 ， 记为 ： 1= , 0,1, ( ) 1 | |1n gna n a z zz 例 ： ， 则其 中 ， ， 收 敛 域 v 定 义 ： 设 X为 离 散 随 机 变 量 ， 令 an =PX=n ， 称 PX(z)=ag(z)=E(zX)为 X的 生 成 函 数 ， |z|1。0 ( ) ( )n g gm n mm a b a z b z （ 卷 积 ）v 卷 积 性 质 0( )g nnna z a z 46 生 成 函 数 2(1) (1) (1) (1)34 , ( ) ( ( )( ) N kk=1EX P DX P P PX X , NX X Y= XH z G P zG z P 性 质 ：1） 非 负 整 数 值 随 机 变 量 的 分 布 列 由 其 生 成 函 数 唯 一 确 定 ，2） 独 立 随 机 变 量 之 和 的 生 成 函 数 等 于 各 随 机 变 量 生 成 函 数 之 积 ，） 若 ， 是 相 互 独 立 且 同 分 布 的 非 负 整 数 值 随 机 变 量 ， 是 与， 独 立 的 非 负 整 数 值 随 机 变 量 ， 则 的 生 成 函 数 其 中 和 ( )z N X分 别 是 ， 的 生 成 函 数 特 征 函 数( )( ) ( ) ( )1( ) ( )2 itx itxitx f xg t E e e f x dxXf x e g t dt 定 义 ： 设 随 机 变 量 的 概 率 密 度 为 ， 称 其 傅 氏 逆 变 换 为 的 特 征 函 数 。而 (0) 1 ( ) 1, ( ) ( ) 2 ( ) ( , )g g t g t g tg t 性 质 ： 1) ，） 在 上 一 致 连 续2 2 cos sinixx a ibx a b x a ib e x i x 复 数 运 算 ，模 运 算 共 轭 运 算 欧 拉 公 式 ： 特 征 函 数( )1 2 1 2 1 23 ( )(0)4 ( )5 , , ,( ) ( ) ( ) ( )6 nk k kn nnX n EX X g t nk n g i EXg tX X X X X X Xg t g t g t g t 特 征 函 数 性 质 （ 续 ） ：） 若 随 机 变 量 的 阶 距 存 在 ， 则 的 特 征 函 数 可 微 分 次 ， 且 当 时 ， 有） 是 非 负 定 函 数） 若 是 相 互 独 立 的 随 机 变 量 ， 则 的 特 征 函 数 ） 随 机 变 量 的 分 布 函 数 由 其 特 征 函 数 唯 一 确 定 49 拉 氏 变 换( )( ) ( )l sxf tf s e f t dts i 定 义 ： 设 为 定 义 在 0, )上 的 实 值 函 数 ， 其 拉 氏 变 换 为 ： 0 ( ) ( ) ( ) ( ) 2 ( )( 0) ( ) 3 ( ) ( ) ( ) ( ) l ls ll lf t g t f s g sf t e f sf g t d f s g s 性 质 ： 1) 线 性 运 算） 延 时） 卷 积 对 应 于 乘 积0 1 4 ( ) ( ) lf d f ss ） 积 分 傅 里 叶 变 换 要 求 函 数 在 (- , )绝 对 可 积 ， 对 不 满 足 这 一 性 质 的 函 数 ，可 以 用 拉 氏 变 换 ， 拉 氏 变 换 的 性 质 和 傅 氏 变 换 类 似 。 50 随 机 变 量 与 随 机 过 程在 每 次 试 验 的 结 果 中 ， 以 一 定 的 概 率 取 某 个 事 先 未 知 ， 但 未 确 定 的 数 值 。在 实 际 应 用 中 ， 我 们 经 常 要 涉 及 到 在 试 验 过 程 中 随 时 间 t而 改 变 的 随 机 变 量 。例 如 ， 接 收 机 的 噪 声 电 压 ，此 外 ， 还 包 括 生 物 群 体 的 增 长 问 题 ； 电 话 交 换 机 在 一 定 时 间 段 内 的 呼 叫 次 数 ；一 定 时 期 内 的 天 气 预 报 ；固 定 点 处 海 平 面 的 垂 直 振 动 ； 等 等 51 在 第 Wi次 试 验 中 测 量 获 得 的 噪 声 电 压 Xt是 一个 样 本 函 数 52 )(1 tXw )(2 tXw )(3 tXw )(tXkw )(tX nw 1t 2t 53 定 义设 （ ,F,P） 是 概 率 空 间 ， T是 给 定 的 参 数 集 ， 若 对 每 个 t T，由 一 个 随 机 变 量 X(t,e)与 之 对 应 ， 则 称 随 机 变 量 族 X(t,e),t T是（ ,F,P） 上 的 随 机 过 程 。随 机 过 程 X(t,e),t T可 以 认 为 是 一 个 二 元 函 数 。对 固 定 的 t， X(t,e)是 （ ,F,P） 上 的 随 机 变 量 ；对 固 定 的 e， X(t,e)是 随 机 过 程 X(t,e),t T的 一 个 样 本 函 数 。 54 有 限 个 随 机 变 量 统 计 规 律联 合 分 布 函 数随 机 过 程 统 计 规 律有 限 维 分 布 函 数 族设 XT=X(t),t T是 随 机 过 程 ， 对 任 意 n1和 t1,t2, ,tn T， 随 机 向 量(X(t1),X(t2), ,X(tn)的 联 合 分 布 函 数 为 )(,)(),( 1121,1 nnntt xtXxtXPxxxF n 这 些 分 布 函 数 的 全 体 1,),( 2121,1 nTtttxxxFF nntt n 称 为 XT=Xt,t T的 有 限 维 分 布 函 数 。 55 设 XT=X(t),t T是 随 机 过 程 ， 如 果 对 任 意 t T， EX(t)存 在 ， 则 称 函 数TttEXtm defx ),()(为 XT的 均 值 函 数 ， 反 映 随 机 过 程 在 时 刻 t的 平 均 值 。若 对 任 意 t T， E(X(t)2存 在 ， 则 称 XT为 二 阶 矩 过 程 ， 而 称 TtstmtXsmsXEtsB XXdefX ,),()()()(),(为 X T的 协 方 差 函 数 ， 反 映 随 机 过 程 在 时 刻 t和 s时 的 线 性 相 关 程 度 。 TttmtXEttBtD XXX ,)()(),()( 2为 XT的 方 差 函 数 ， 反 映 随 机 过 程 在 时 刻 t对 均 值 的 偏 离 程 度 。TtstXsXEtsR X ,),()(),(为 XT的 相 关 函 数 ， 反 映 随 机 过 程 在 时 刻 t和 s时 的 线 性 相 关 程 度 。 数 字 特 征 56 对 于 二 阶 矩 随 机 过 程 ， 其 协 方 差 函 数 和 相 关 函 数 一 定 存 在 ， 且 有 如 下关 系 ： )()(),(),( tmsmtsRtsB XXXX 例 题设 随 机 过 程 0),sin()cos()( ttZtYtX 其 中 ， Y和 Z是 相 互 独 立 的 随 机 变 量 ， 且 EY=EZ 0， DY=DZ=2，求 X(t)的 均 值 函 数 和 协 方 差 函 数 。 1 2 2 32 ,( ) 1,2,.,( ) ( ; ): 1;( ) (1,2; , );nX n nnX n F n x nX n F x x 例 设 盒 子 中 有 个 红 球 ， 个 白 球 ， 每 次 从 盒 子 中 取 出 一 球 后 放 回 ， 定 义 随 机 过 程 第 n次 取 出 的 是 红 球 第 n次 取 出 的 是 白 球求 ： (1) 的 一 维 分 布 函 数 族 (1) 的 二 维 分 布 函 数 族 57 两 个 随 机 过 程 之 间 的 关 系 互 协 方 差 函 数互 相 关 函 数定 义 ：设 X(t),t T， Y(t), t T是 两 个 二 阶 矩 过 程 ， 则 称 TtstmtYsmsXEtsB YXXY ,),()()()(),(为 X(t),t T与 Y(t), t T的 互 协 方 差 函 数 ， 称)()(),( tYsXEtsR XY 为 X(t),t T与 Y(t), t T的 互 相 关 函 数 。 58 两 个 随 机 过 程 X(t),t T与 Y(t), t T的 互 不 相 关 定 义0),( tsBXY互 协 方 差 函 数 与 互 相 关 函 数 之 间 的 关 系 )()(),(),( tmsmtsRtsB YXXYXY 例 题 2.8：设 X(t)为 信 号 过 程 ， Y(t)为 噪 声 过 程 ， 令 W(t)=X(t)+Y(t)， 求 W(t)的 均 值函 数 和 相 关 函 数 。例 题 2.7设 有 两 个 随 机 过 程 X(t)=g1(t+)和 Y(t)=g2(t+)， 其 中 g1(t)和 g2(t)都 是 周 期为 L的 周 期 方 波 ， 是 在 (0,L)上 服 从 均 匀 分 布 的 随 机 变 量 ， 求 互 相 关 函数 RXY(t,t+ )的 表 达 式 。 59 复 随 机 过 程定 义 ：设 Xt, t T， Yt, t T是 取 实 数 值 的 两 个 随 机 过 程 ， 若 对 任 意 t Tttt iYXZ 其 中 ， 则 称 Zt, t T为 复 随 机 过 程 。1i复 随 机 过 程 的 数 字 特 征 函 数均 值 函 数方 差 函 数相 关 函 数 协 方 差 函 数 tttZ iEYEXZEtm )()( 2( ) | ( )| ( ( )( ( )Z t Z t Z t ZD t E Z m t E Z m t Z m t ),( tsZ ZZEtsR ( , ) ( ( )( ( )Z s Z t ZB s t E Z m s Z m t ( , ) ( , ) ( ) ( )Z Z Z ZB s t R s t m s m t 相 互 之 间 的 关 系 60 复 随 机 过 程 的 性 质复 随 机 过 程 XT,t T的 协 方 差 函 数 B(s,t)具 有 性 质 ：（ 1） 对 称 性 （ 埃 米 特 性 ） ：（ 2） 非 负 定 性 ， 对 任 意 ti T及 复 数 ai， i=1,2, ,n， n1， 有( , ) (, )B st Bt s nji jiji aattB1, 0),(说 明 ：1. 如 果 函 数 f(s,t)具 有 非 负 定 性 ， 那 么 它 必 具 有 埃 米 特 性 。2. 若 f(s,t)为 一 非 负 定 函 数 ， 则 必 存 在 一 个 二 阶 矩 过 程 （ 并 可 要求 它 为 正 态 过 程 ） 以 给 定 的 f(s,t)为 协 方 差 函 数 。 61 两 个 复 随 机 过 程 Xt， Yt的 互 相 关 函 数 定 义 为)(),( tsXY YXEtsR 互 协 方 差 函 数 定 义 为( , ) ( ) ( )XY s X t YB s t E X m s Y m t 例 题 2.9设 随 机 过 程 ， 其 中 X 1,X2, ,Xn是 相 互 独 立 的 ， 且服 从 N(0,k2)的 随 机 变 量 ， w1,w2, ,wn是 常 数 ， 求 Zt,t0的 均 值 函 数m(t)和 相 关 函 数 R(s,t)。1 , 0kn i tt kkZ Xe t 62 随 机 过 程 的 几 种 基 本 类 型二 阶 矩 过 程正 交 增 量 过 程独 立 增 量 过 程马 尔 可 夫 过 程正 态 过 程维 纳 过 程平 稳 过 程鞅 63 二 阶 矩 过 程 2 ( ), ( ) ( )X X t t Tt T E X t X t 定 义 ： 设 已 给 定 随 机 过 程 ， 如 果 对 于 一 切 ， 均 有 ， 则 称 为 二 阶 矩 过 程 。 2 2 2( ) ( ) 2 ( ) ( ) ( ) ( ) xm t EX tEX s X t EX s EX t 性 质 ： 1 二 阶 矩 过 程 必 存 在 均 值 （ 常 设 为 0） 。 由 Schwartz不 等 式 知 其 相 关 函 数 和 协 方 差 都 存 在 。三 个 分 支 ： 正 态 （ 高 斯 ） 过 程 ， 宽 平 稳 过 程 和 正 交 增 量 过 程 。 64 定 义 ：设 X(t),t T是 零 均 值 的 二 阶 矩 过 程 ， 若 对 任 意 的 t1t2t3t4 T， 有2 1 4 3( ( ) ( )( ( ) ( ) 0E X t X t X t X t 则 称 X(t)是 正 交 增 量 过 程 。例 题设 X(t),t T是 正 交 增 量 过 程 ， T=a,b为 有 限 区 间 ， 且 规 定 X(a)=0，当 astb时 ， 求 其 协 方 差 函 数 。正 交 增 量 过 程 65 定 义 ：设 X(t),t T是 随 机 过 程 ， 若 对 任 意 的 正 整 数 n和 t1t2tn T， 随 机变 量 X(t2)-X(t1),X(t3)-X(t2), ,X(tn)-X(tn-1)是 互 相 独 立 的 ， 则 称 X(t),t T是 独 立 增 量 过 程 。特 点 ：独 立 增 量 过 程 在 任 一 个 时 间 间 隔 上 过 程 状 态 的 改 变 ， 不 影 响 任 一 个 与它 不 相 重 叠 的 时 间 间 隔 上 状 态 的 改 变 。独 立 增 量 过 程 66 正 交 增 量 过 程独 立 增 量 过 程 定 义 依 据 ：不 相 重 叠 的 时 间 区 间 上 增 量 的统 计 相 依 性 互 不 相 关相 互 独 立正 交 增 量 过 程 独 立 增 量 过 程正 交 增 量 过 程 独 立 增 量 过 程二 阶 矩 存 在 ， 均 值 函 数 恒 为 零 67 定 义 ：设 X(t),t T是 独 立 增 量 过 程 ， 若 对 任 意 st， 随 机 变 量 X(t)-X(s)的 分布 仅 依 赖 于 t-s， 则 称 X(t),t T是 平 稳 独 立 增 量 过 程 。例 题 ： 考 虑 一 种 设 备 一 直 使 用 到 损 坏 为 止 ， 然 后 换 上 同 类 型 的 设 备 。假 设 设 备 的 使 用 寿 命 是 随 机 变 量 ， 令 N(t)为 在 时 间 段 0,t内 更 换 设 备的 件 数 ， 通 常 可 以 认 为 N(t)， t0是 平 稳 独 立 增 量 过 程 。平 稳 （ stationary） 独 立 增 量 过 程 68 定 义 ：设 X(t),t T是 随 机 过 程 ， 若 对 任 意 正 整 数 n及 t1,t2, ,tn T，(X(t1),X(t2), ,X(tn)是 n维 正 态 随 机 变 量 ， 则 称 X(t),t T是 正 态 过 程 或高 斯 过 程 。特 点 ：1. 正 态 过 程 只 要 知 道 其 均 值 函 数 和 协 方 差 函 数 ， 即 可 确 定 其 有 限 维分 布 。2. 独 立 和 不 相 关 是 等 价 的 。正 态 过 程 二 维 正 态 随 机 变 量 ：讨 论 随 机 变 量 X1,X2的 联 合 概 率 密 度 函 数 2 21 1 1 1 2 2 2 21 2 22 1 1 2 21 2 ( )( )1 1( , ) exp ( ) 2 ( ) 2(1 )2 1 x a x a x a x af x x 称 X1,X2为 二 维 正 态 随 机 变 量 。 其 中 为 X1和 X2的 相 关 函 数 。对 于 上 述 二 维 随 机 变 量 ， 其 边 际 密 度 可 表 示 为 21 1211 ( )211( ) 2 x aXf x e 22 2222 ( )221( ) 2 x aXf x e 边 际 分 布 为 一 维 正 态 分 布 ，),( 2111 aNX ),( 2222 aNX 二 维 正 态 分 布 的 协 方 差 矩 阵 ： 2221 2121 C二 维 正 态 分 布 的 协 方 差 矩 阵 的 性 质 ： )1( 1)1( )1()1( 1 222212 2122211 C二 维 正 态 随 机 变 量 的 联 合 密 度 的 矩 阵 表 示 )()(21exp|2 1),( 121 21 axCaxCxxf 其 中 ),(),( 2121 aaaxxx 1、 实 对 称 ；2、 正 定 阵3、 其 逆 矩 阵 可 表 示 为 n维 正 态 随 机 变 量 的 定 义 ：若 n维 随 机 变 量 的 联 合 密 度 函 数 为 )()(21exp|)2( 1)( 1212 axCaxCxf nX 则 称 为 n维 正 态 随 机 变 量 ， 其 中 C为 n维 实 对 称 正 定 阵 。 记 为X ),( CaNX 协 方 差 矩 阵11 12 121 22 21 2 nnn n nnC C CC C CC C C C ( )( )ik i i k kC E x Ex x Ex i k ， ： 协 方 差 2( ) ii i iC E x Ex ： 方 差0 Cik i kC i k x x n ， ， 即 ， 不 相 关 时 ， 此 时 矩 阵 为 对 角 阵 ，联 合 密 度 函 数 为 各 边 缘 密 度 函 数 乘 积 ， 即 维 随 机 变 量相 互 独 立 协 方 差 矩 阵 的 性 质1、 实 对 称 ；2、 正 定 阵 ： 1 1 = , , , n iEx i证 ： 令 （ ） 2 1 11 ( ) ( , , ) 0n i i i x n nid x f x x dx dx 2 1 1 1( ) ( ) ( )n n ni i i i i i j j ji i jd E x E x x 1 1 ( )( )n n i j i i j ji j E x x 0TC C 非 负 定 当 C正 定 时 ， 可 显 式 得 到 ；当 C非 负 定 时 ， |C|可 以 等 于 0， C-1不 存 在 ， 称 为 退 化 的 正 态 分 布 。 不 能 显 式 得 到 ， 但 特 征 函 数 存 在 。1( , , )x nf x x1( , , )x nf x x n维 随 机 变 量 的 性 质1. 若 ， 则 存 在 n阶 正 交 矩 阵 A， 使 得 向 量 中 的 分量 Y1,Y2, ,Yn是 独 立 的 随 机 变 量 ， 且 Yi为 一 维 正 态 分 布 N(0,di)。),( CaNX ( )Y X a A 2、 的 特 征 函 数 为),( CaNX tCt21tie)t( Xg3、 n元 正 态 分 布 中 任 意 m维 向 量 亦 为 正 态 分 布 4、 n元 正 态 随 机 变 量 的 线 性 变 换 也 为 正 态 随 机 变 量 。 即 若 为 正 态 ， 则 ， 亦 为 正 态 随 机 变 量 。X bXAY 5、 若 为 n维 正 态 随 机 变 量 ， 那 么 X1,X2, ,Xn相 互 独 立 的 充 要 条 件是 两 两 互 不 相 关 。 X 例 题 ：设 平 稳 正 态 过 程 X(t)均 值 为 0， 相 关 函 数 RX( )=(e-2| |)/4， 求 对 给 定 时刻 t1， X(t1)的 值 在 0.5和 1之 间 的 概 率 。例 题 ：X(t)=Acosw 0t+Bsinw0t， 其 中 A与 B为 两 个 独 立 的 正 态 随 机 变 量 ， 且EA=EB=0， EA2=EB2=2， w0为 常 数 ， 求 X(t)的 一 维 ， 二 维 密 度 函 数 。 78 定 义 ：设 X(t),t T是 随 机 过 程 ， 如 果 对 任 意 常 数 和 正 整 数 n， t1,t2, ,tn T，t1+,t2+, ,tn+ T， (X(t1),X(t2), ,X(tn)与 (X(t1+),X(t2+), ,X(tn+)有相 同 的 联 合 分 布 ， 则 称 X(t),t T为 严 平 稳 过 程 或 侠 义 平 稳 过 程 。定 义 ：设 X(t),t T是 随 机 过 程 ， 如 果1. X(t),t T是 二 阶 矩 过 程 ；2. 对 任 意 t T， m X(t)=EX(t)=常 数 ；3. 对 任 意 s,t T， RX(s,t)=EX(s)X(t)=RX(s-t)则 称 X(t),t T为 广 义 平稳 过 程 ， 简 称 为 平 稳 过 程 。 平 稳 过 程 广 义 平 稳 过 程 严 平 稳 过 程广 义 平 稳 过 程 严 平 稳 过 程二 阶 矩 存 在对 于 正 态 过 程 ， 广 义 平 稳 过 程 和 严 平 稳 过 程 是 等 价 的 。例 题设 随 机 过 程 X(t)=acos(wt+ )， a和 w都 是 常 数 ， 是 在 (0,2 )上 均 匀分 布 的 随 机 变 量 ， Y(t)=tX(t)， 试 分 别 讨 论 X(t)和 Y(t)的 平 稳 性 。 80 作 业 2.2 2.3 2.14