资源描述
第五章 Markov 链,主要内容,5.1、 基本概念,5.2、 状态分类及性质,5.3、 极限定理及不变分布,5.4、 连续时间Markov链,本章的教学目的和要求:,1、理解Markov链的定义,了解与之相关的概念和实际应用背景. 2、掌握状态分类的标准和性质. 3、理解连续时间Markov链的定义及性质,了解Kolmogrov方程和生灭过程.,第一节 基本概念,二、 转移概率随机矩阵,三、 C-K方程,一、 Markov链的定义,【本节内容】,【重点、难点】,Markov链的定义,引入:,古希腊有句名言:“罗马不是一天建成的。”,中国亦有诗云:“冰冻三尺非一日之寒。”,可见,事物发展是与过去有关系的,有因,才有果.,然而,这节课要讲的一类随机过程却不具备这种性质,换言之,要确定过程将来的状态,不需要知道它过去的状况,只需知道它现在的情况就足够了. 此即“无后效性”(也叫Markov性).,具有“无后效性”的随机过程称为Markov过程. 本章主要 介绍最简单的两类:离散时间的Markov链 (简称Markov 链)和连续时间的Markov链.,与君共勉:“忘掉过去吧,无论是辉煌还是失败,那只 是过往云烟,总会随风飘去;只有把握当前,珍惜今天 的人,才能决定自己的未来。”,5.1.1 Markov 链的定义,至此,我们接下来自然要问:对于Markov链而言,,(1) 它的初始分布存在吗?,(2) 条件概率(*)是如何确定呢?,Answer to (1): 华罗庚先生给出答案:“Markov链必有其始.”,Answer to (2): 该问题是Markov链理论和应用的重要问题之一,我们将在接下来的小节中予以说明。,5.1.2 转移概率,我们先给出其定义:,注意: 今后我们所讲的都是时齐Markov链,并简称为 Markov链.,Markov链的分类:若Markov链的状态是有限的,称为 有限链,否则称其为无限链.,接下来,我们讨论关于Markov链的一个重要概念:,转移概率矩阵,性质:转移矩阵P具有以下性质:,显然,随机矩阵的每一行元素之和为1.,5.1.3 一些例子,复习:,Markov链的定义,2. 何谓Markov性?,3. Markov链的有限维分布族,由Markov性及乘法公式,知,填空题: Markov链的概率特征完全由( )和( )描述.,判断题:Markov 链是离散时间参数、离散状态的且满足 Markov性的随机过程.,例题:,证及解:,是离散状态的随机序列.,下证,Markov性.,从而,,是一Markov链.,进而,它的转移概率为,由题意易知,,5.1.4 n步转移概率 与 C-K方程,在5.1.2节,我们学习了一步转移概率 ,(即Markov 链从状态 i 经过一步转移到 j 的概率).,n步转移概率及n步转移矩阵,接下来我们讨论,注释,现在我们给出关于 和 的结论,即定理5.1.,Chapman-Kolmogorov方程,Go on,Proof,例题:在赌徒破产模型中,设n=3,p=q=0.5; 赌徒从2元开始赌博,求他经过四次赌博就输光的概率.,解.,我们要求解的概率为,由例5.2知,转移矩阵是,根据定理5.1(2),得,所以,,作业:,
展开阅读全文