语音信号处理第五章隐马尔可夫模型jsp课件

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,隐马尔可夫,模型,孙瑜声,PB08000623,2011-12-3,隐马尔可夫模型孙瑜声 PB08000623,隐马尔可夫模型（,Hidden Markov Models,HMM),作为语音信号的一种统计模型，今天正在语音处理领域中获得广泛的应用。,大约,100,年前，数学家和工程师们就已经知道马尔可夫链，但缺乏一种能使该模型参数与语音信号达到最佳匹配的有效方法,20,世纪,60,年代后期，有人提出这种匹配方法,1970,年前后，,Baum,等人建立有关的理论基础,随后,CMU,的,Baker,和,IBM,的,Jelinek,等人将其运用到语音识别中,20,世纪,80,年代，,Bell,实验室的,Rabiner,等人对,HMM,的深入浅出的介绍，使,HMM,为世界各国从事语音信号处理的研究人员所了解和熟悉,近几十年来，隐马尔可夫模型技术无论在理论上或是在实践上都有了许多进展。,概述,隐马尔可夫模型（Hidden Markov Models,H,隐马尔可夫模型的引入与定义,隐马尔可夫模型的引入与定义,隐马尔可夫模型的引入与,定义,隐马尔可夫模型的引入与定义,隐,Markov,模型,HMM,类似于一阶,Markov,过程，但它是个双内嵌式随机过程。,HMM,有两个随机过程组成，一个是状态转移序列（不可观测），它对应着一个单纯的,Markov,过程，另一个是每次转移时输出的符号组成的符号序列。,隐马尔可夫模型的引入与定义,隐Markov模型隐马尔可夫模型的引入与定义,举个例子,隐马尔可夫模型的引入与定义,举个例子隐马尔可夫模型的引入与定义,再举个例子（球和缸）,隐马尔可夫模型的引入与定义,再举个例子（球和缸）隐马尔可夫模型的引入与定义,隐马尔可夫模型的引入与定义,隐马尔可夫模型的引入与定义,HMM,的基本元素,HMM的基本元素,HMM,的基本元素,HMM的基本元素,HMM,的基本元素,HMM的基本元素,以孤立字（词）语音识别为例,每个孤立字（词）必须准,备一个,HMM,，对于一要,识别的语音，先分帧，参,数分析，特征参数提取，,再通过矢量量化，就可得,到一组符号序列，之后计,算这组符号在每个,HMM,上得输出概率，最大的就,是识别结果,HMM,在语音信号处理中的用处,以孤立字（词）语音识别为例HMM在语音信号处理中的用处,三个问题：,（一）识别问题：给定观察符号序列,O,和模型,M,，如何快速有效的计算观察符号序列的输出概率,P(O|M),？,（二）寻找与给定观察字符序列对应的最佳状态序列,（三）模型训练问题：对于初始模型和给定用于训练的观察符号序列,O,，如何调整模型,M,的参数，似的输出概率,P(O|M),最大。,隐,Markov,模型的算法,三个问题：隐Markov模型的算法,前向,-,后向（,Forward-Backward),算法,解决第一个问题,1.,前向算法：按输出观察值序列的时间，从前向后递推计算输出概率。,隐,Markov,模型的算法,前向-后向（Forward-Backward)算法隐Mark,隐,Markov,模型的算法,隐Markov模型的算法,前向算法,隐,Markov,模型的算法,前向算法隐Markov模型的算法,2.,后向算法：按输出观察值序列的时间，从后向前递推计算输出概率的方法,隐,Markov,模型的算法,2.后向算法：按输出观察值序列的时间，从后向前递推计算输出概,隐,Markov,模型的算法,隐Markov模型的算法,前向后向算法都是一种格型结构，前向有,N(N+1)(T-1)+N,次算法，和,N(N-1)(T-1),次加法，而后向的计算量也在,N*N*T,数量级。,隐,Markov,模型的算法,前向后向算法都是一种格型结构，前向有N(N+1)(T-1)+,维特比算法,解决第二个问题,此处最佳，指使,P(S,O|M),最大的序列,维特比算法可叙述为,隐,Markov,模型的算法,维特比算法隐Markov模型的算法,步骤：,隐,Markov,模型的算法,步骤：隐Markov模型的算法,隐,Markov,模型的算法,隐Markov模型的算法,隐,Markov,模型的算法,隐Markov模型的算法,隐,Markov,模型的算法,隐Markov模型的算法,步骤：,隐,Markov,模型的算法,步骤：隐Markov模型的算法,注：语音识别一般采用从左到右型,HMM,。所以初始状态设定为,训练次数也不是越多越好，判定方法一是前后两次输出概率的差值小于一定阈值或模型参数几乎不变，另一种是采用固定次数训练,隐,Markov,模型的算法,注：语音识别一般采用从左到右型HMM。所以初始状态设定为隐M,按照,HMM,的状态转移概率参数矩阵（,A,矩阵）分类,1.,各态历经型或遍历型,HMM,（,Ergodic HMM),经过有限步转移后，系统能达到任何状态。这种,HMM,状态转移矩阵中没有零。不符合时间顺序要求，只能用于不要求时间顺序的语音信号处理,2.,从左到右型,HMM,（,Left-to-Right HMM,）,随着时间增加状态的转移只能是从左到右进行或停在原地。,HMM,状态转移矩阵为上三角阵。能反映时序结构，适应随时间变化的语音信号,隐,Markov,模型的各种结构类型,按照HMM的状态转移概率参数矩阵（A矩阵）分类隐Markov,按照,HMM,输出概率分布（,B,参数）分类,1.,离散,HMM,（,DHMM,）,输出概率是按观察字符离散分布的。需要对时间序列进行量化，引入量化误差，影响系统识别功能。但计算简单,2.,连续型,HMM,（,Continuous HMM,，,CHMM,）,连续概率密度分布，输出值是连续的，用密度函数表示。,隐,Markov,模型的各种结构类型,按照HMM输出概率分布（B参数）分类隐Markov模型的各种,根据协方差矩阵式全协方差矩阵还是对角协方差矩阵可以把连续分为全协方差和对角协方差矩阵,CHMM,在实际的语音信号处理中，用高斯,M,元混合密度，即用多个高斯概率分布部的加权组合来表示输出概率密度函数，如,这种,HMM,成为连续混合密度,HMM,（,Continuous Mixed Densities HMM,，,CM-HMM,）,隐,Markov,模型的各种结构类型,根据协方差矩阵式全协方差矩阵还是对角协方差矩阵可以把连续,除此之外，还有高斯自回归,M,元混合密度、椭球对称的概率密度和对数凹对称和,/,或椭球对称的概率密度等。由于分布是连续的，比离散更好的描述时变特性,3.,半连续性,HMM,（,Semi-Continuous HMM,，,SCHMM,）,概率密度,精度相对高，计算量也不算太大,隐,Markov,模型的各种结构类型,除此之外，还有高斯自回归M元混合密度、椭球对称的概率密度和对,其他一些特殊形式的,HMM,1.,空转移（,Null Transition,）,系统输出与转移弧相联系，允许不产生输出的 转移,隐,Markov,模型的各种结构类型,其他一些特殊形式的HMM隐Markov模型的各种结构类型,2.,参数捆绑（,Parameter tieing,）,在,HMM,不同的转移弧的参数之间建立一定的关系，使得不同状态转移弧使用相同的参数。目的在于使模型中的独立状态减少，从而使参数计算变的简单。应付训练数据不足,隐,Markov,模型的各种结构类型,2.参数捆绑（Parameter tieing）隐Marko,下溢问题：概率过小超出计算机的精度,参数的初始化问题,隐,Markov,模型的一些实际问题,下溢问题：概率过小超出计算机的精度隐Markov模型的一些实,提高,HMM,描述语音动态特性的能力,基本的,HMM,模型隐含了三个假设,1.,状态转移概率与观察序列无关，且时不变,2.,状态观察概率密度函数与过去状态无关,3.,状态观察概率密度函数与过去观察无关,由于语音有很强的关联性，所以假设是不合理的。影响,HMM,描述语音信号时间上帧间相关动态特性的能力。为弥补这一缺陷，采用的方法是在利用语音静态参数,X,的同时，增加语音动态参数,但是没有从根本上解决不合理性。,隐,Markov,模型的一些实际问题,提高HMM描述语音动态特性的能力隐Markov模型的一些实际,直接利用状态持续时间分布概率的,HMM,系统,各状态的持续时间是一个有用的参数,为利用这一参数，采用以下办法,1.,增加,HMM,的状态数,2.,采用后处理办法,3.,采用状态持续时间分布的,HMM,系统,隐,Markov,模型的一些实际问题,直接利用状态持续时间分布概率的HMM系统隐Markov模型的,