马尔柯夫过程及其在经济中的应用

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,马尔柯夫过程及其在经济中的应用,第一节、随机过程及马尔柯夫链的概念,1.什么是随机过程,自然、社会和经济中的随机现象，可由一个或多个随机变量来描述，这是我们都已知道的（概率和数理统计），在实际中还需要研究有些随机现象随时间的变化规律性。随机过程的数学理论就是适应这一客观需要而产生的。,1,例1以(t)表示某一电话站在时间(0,T)中接到的呼叫次数，那么，对每一确定的t(0, ), (t)是一个随机变数，当t在(0,T)中的取值不断增大时， (t)就描述着呼叫次数随时间的变化过程，若以一天24小时间计，则(t)就是时间从0到24呼叫次数的随机的变化规律。,例2 某商店一特定的商品在一月内每天的售货量为一随机变量(t)，如果t从1变化到30，则(t)就是一月内此商品销售量的随机变化过程。,2,以上两例中，我们研究的是随时间t变化的一族随机变量。我们将这样的一族随机变量，称为随机过程记为(t)t 0,T,马尔柯夫过程是随机过程中的一种，它研究的是这样的一类随机现象，现象在变化的过程中，处于某种状态的概率，只与它在这之前的状态有关，而与它在很远的过去处在什么状态无关。二十世纪初1907年，俄国数学家马尔柯夫（A.A.Markov)研究了这类现象，并把这类现象归结为这样一种数学模式，现象在概率转换过程中，,3,第n次试验的结果，常决定于n-1次试验的结果。以后，人们在研究时，就把具有由前项推算出来的转移概率的随机变化过程，称为马尔柯夫过程；而把从整体上看到的一连串的转移过程称为马尔柯夫链。,2.转移概率矩阵,设一系统S有有限个互不相容的状态，A,1,，A,2,，A,n,，每隔一个有限时间后状态就要变更一次，在时刻tk时（k=1,2,3 )系统S处于状态A,i,（I=1,2,3n)在下一个时刻t,k+1,转而呈现出状态A,j,(j=1,2,3 n)的概率恒等于一个不依赖于S在时刻t,1,t,2,t,k-1,状态的非负常数pij,利用通常的条件概率写法，可记为：,4,这里的p,ij,(j,j=1,2,3 n)称为系统S的马尔柯夫链的一步转移概率。,由转移概率pij为元素构成的矩阵：,5,这个矩阵称为系统S的状态A1，A2，An的转移概率矩阵，也叫马尔柯夫链的转移矩阵。,转移概率矩阵P的建立是以对问题的观察和试验为基础为。,例3为了了解顾客对甲、乙、丙三种不同牌号的洗衣粉的购买倾向，我们结市志进行了调查。在本月购买乙、丙三种不同牌号的洗衣粉的顾客中，各找100人，分别了解他们下月的购买倾向情况如下：,6,此矩阵说明，在本月购买甲牌的100人中，有40人仍购买甲牌，30人转向购买乙牌，30人转向购买丙牌，在购买乙 牌的100人中，有60人转向购买甲牌，30人仍购买乙牌,10人转向购买丙牌，在购买丙牌的100人中，有60人转向购买甲牌，有10人转向购买乙牌，有30人仍购买丙牌。这个矩阵就叫某系统状态的转移频数矩阵。用转移频数矩阵的各行和分别除以各对应的频数，就得到转移概率矩阵,7,定义1：一方阵P（pij)中，如果各行之各元素为非负数，且各行元素总和为1，则此方阵为转移概率矩阵。,例4 判断下列矩阵是否是转移概率矩阵？,8,3.转移概率矩阵的性质和正规转移概率矩阵,定理1 如果A和B皆为同阶的转移概率矩阵，则乘积AB亦为转移概率矩阵，当P为转移概率矩阵，m为有限时，p,m,亦为转移概率矩阵。,定义若一转移概率矩阵P的某次方Pm的所有元素皆为正(pij(m)0),则p为一正规转移概率矩阵。,例5 转移概率矩阵,9,是一正规转移概率矩阵。因为,而单位矩阵E不是正规转移概率矩阵，因为E的任意次方都是单位矩阵，都有0元素，故单位矩阵不是正规转移概率矩阵。,10,定义（固定向量）任一非零行向量U=（u1,u2, ,un)当乘以某方阵A后，若仍然固定为U，则称U为此方阵的固定向量，即有AU=U,例6 试证U=（2，-1）为,的固定向量。,证明：因为,引理：设P为一正规转移概率矩阵，则,（1）P恰有一个固定概率向量U，且U的所有元素皆为正。,（2）P的各次幂组成的序列P，P,2,，P,3,，趋于方阵U，而方阵U的每一行均为固定概率向量u;,11,4.状态的多步转移与转移概率矩阵P的乘幂,（3）若V为任意一个行概率向量，则向量序列VP，VP,2,，VP,3,， ，趋于固定概率向量U,前面讨论了某系统S的转移概率矩阵的乘幂，P的乘幂 反映了系统S中状态多步转移的概率变化规律。马尔柯夫链的主要功能就在于计算自i状态开始经R步转移至j状态的概率。,例7 设,12,它满足条件,其含义为从状态C一步转移到状态A的概率可能性最大，从状态A一步转移到状态C可能性次之。问题是在从P中能否推出状态A经过两步转移成什么状态的可能性最大？又经过两步转移成什么状态的可能性最小？,由卡普曼柯尔莫哥洛夫方程（Chapman-Kolmogorov),P,k,=P,m,p,k-m,得P,k,= P,k,13,例：预测商品在未来期间的市场占有率,例8 A、B、C、D、E五种商标的同类新产品在市场上同时销售。据市场调查，199名顾客的购买倾向所显示的转移频数矩阵如下：,14,各行和除以各行分量得到的转移概率矩阵,以后经过五个月的情况预测可用五步转移矩阵得之：,方阵主对角线表示各种品牌保有原来顾客的概率，以上矩阵，各种品牌保有原来顾客的概率为0，明显地显示了顾客对各种新产品都想试一试的心理。,15,A=0 0.286 0.333 0.262 0.119,0.316 0 0.289 0.289 0.106,0.132 0.289 0 0.368 0.211,0.283 0.130 0.196 0 0.391,0.343 0.257 0.114 0.286 0, A5,ans =,0.2115 0.1906 0.1910 0.2302 0.1767,0.2129 0.1901 0.1895 0.2320 0.1755,0.2092 0.1939 0.1904 0.2322 0.1744,0.2125 0.1876 0.1932 0.2287 0.1779,0.2097 0.1929 0.1895 0.2329 0.1749,16,A10,ans =,0.2113 0.1908 0.1908 0.2311 0.1760,0.2113 0.1908 0.1909 0.2311 0.1760,0.2113 0.1908 0.1909 0.2311 0.1760,0.2112 0.1909 0.1908 0.2311 0.1760,0.2113 0.1908 0.1909 0.2311 0.1760,17,A15,ans =,0.2113 0.1908 0.1909 0.2311 0.1760,0.2113 0.1908 0.1909 0.2311 0.1760,0.2113 0.1908 0.1909 0.2311 0.1760,0.2113 0.1908 0.1909 0.2311 0.1760,0.2113 0.1908 0.1909 0.2311 0.1760,可见，在十六个月后顾客的购买倾向趋于稳定，A种牌号的市场占有率为21.13%,18,问题：预测顾客流量，选择服务网点,假定汽车出租公司在甲乙丙三个国际机场附近设立租车和还车处。经抽样调查，顾客在甲乙丙三处租车、还车的估计概率如下表,19,P=0.8 0.2 0;0.2 0 0.8;0.2 0.2 0.6,P2,ans =,0.6800 0.1600 0.1600,0.3200 0.,2000,0.4800,0.3200 0.1600 0.5200,说明：转移概率矩阵为正规转移概率矩阵，所以其稳定状态的向量（固定向量）存在,U=(x,y,1-x-y) UP=U,20,解得,这个结果说明，长期经营后，甲、乙、丙三处拥有汽车的概率各为1/2，1/6，1/3。若没汽车保养场的话，自然以拥有汽车最多的甲地为宜。,21,