语音识别-矢量量化课件

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,回顾,失真测度,最佳矢量量化器和码本设计,降低复杂度的矢量量化系统,语音参数的矢量量化,第四章 矢量量化,回顾第四章 矢量量化,1,回顾,矢量量化（,VQ,，,Vector Quantization,）,是一种极其重要的信号压缩方法。,VQ,在语音信号处理中占十分重要的地位。广泛应用于语音编码、语音识别和语音合成等领域。,凡是要用量化的地方都可以采用矢量量化,。,回顾,2,矢量量化研究的目的？,针对特定的信息源和矢量维数，设计出一种最优化的量化器，在,R,（量化速率）一定的情况下，给出的量化失真尽可能接近,D(R)(,最小量化失真,),。,矢量量化研究的目的？针对特定的信息源和矢量维数，设计,3,术语,码本 Codebook,码字 CodeWord,码本大小 Codebook Size,Voronoi Cell 胞腔,术语码本 Codebook,4,矢量量化研究的目的？,针对特定的信息源和矢量维数，设计出一种最优化的量化器，在,R,（量化速率）一定的情况下，给出的量化失真尽可能接近,D(R)(,最小量化失真,),。,矢量量化研究的目的？针对特定的信息源和矢量维数，设计,5,图,7-2,矢量量化系统的组成,图7-2 矢量量化系统的组成,6,4.3,矢量量化的失真测度,失真测度（距离测度）,：,是将输入矢量,X,i,用码本重构矢量,Y,i,来表征时所产生的误差或失真的度量方法，它可以描述两个或多个模型矢量间的相似程度。,失真测度是矢量量化和模式识别中一个十分重要的问题，选择合适与否直接影响系统的性能。,4.3 矢量量化的失真测度 失真测度（距离测度）：是将,7,失真度选择必须具备的特性,必须在主观评价上有意义，即小的失真应该对应于好的主观语音质量；,必须是易于处理的，即在数学上易于实现，这样可以用于实际的矢量量化器的设计；,平均失真存在并且可以计算；,易于硬件实现,失真测度主要有均方误差失真测度（即欧氏距离）、加权的均方误差失真测度、板仓斋藤（,Itakura,Saito,）距离，似然比失真测度等，还有人提出的所谓的“主观的”失真测度。,失真度选择必须具备的特性,8,一、欧氏距离均方误差,设输入信号的某个,K,维矢量,X,，与码书中某个,K,维矢量,Y,进行比较，,x,i,y,i,分别表示,X,和,Y,中的各元素 ，则定义均方误差为欧氏距离：,几种其他常用的欧氏距离：,r,方平均误差,一、欧氏距离均方误差几种其他常用的欧氏距离：r方平均误差,9,2.r,平均误差,3.绝对值平均误差,4.最大平均误差,2.r平均误差 3.绝对值平均误差 4.最大平均误差,10,二、线性预测失真测度,用全极模型表示的线性预测方法，广泛应用于语音信号处理中。它在分析时得到的是模型的预测系数.仅由预测系数的差值，不能完全表征这两个语音信息的差别。应该直接由这些系数所描述的信号模型的功率谱来进行比较。,当预测器的阶数 ，信号与模型完全匹配时，信号功率谱为：,信号的功率谱,预测误差能量,预测逆滤波器的频率响应,二、线性预测失真测度 用全极模型表示的线性预测方法，,11,相应的，设码书中某重构矢量的功率谱为,则定义,Itakura-Saito,距离为,相应的，设码书中某重构矢量的功率谱为则定义Itakura-S,12,这种失真测度是针对线性预测模型、用最大似然准则推导出来，所以特别适用于,LPC,参数，描述语音信号的情况，常用于,LPC,编码中。我们由此又推导出两种线性预测色失真测度，他们比上述具有更好的性能，即,对比似然比失真测度,这种失真测度是针对线性预测模型、用最大似然准则推导,13,模型失真测度,注：这两种失真测度都仅仅比较两矢量的功率谱，而没有考虑其他能量信息。,模型失真测度 注：这两种失真测度都仅仅比较两矢量的功率谱，,14,三、识别失真测度,失真测度的定义,加权因子,输入信号矢量的归一化能量,码书重构矢量的归一化能量,当两矢量的能量接近时（即 ），忽略能量差异引起的影响；当两矢量能量相差很大时，即进行线性加权；而当能量差超过门限 时，则为固定值,三、识别失真测度失真测度的定义加权因子输入信号矢量的归一化能,15,4,.4,最佳矢量量化器和码本的设计,最佳设计就是使失真最小,1,、最佳划分,2,、最佳码书,一、矢量量化器最佳设计的两个条件,4.4 最佳矢量量化器和码本的设计最佳设计就是使失真最小1,16,最佳矢量量化器满足的两个必要条件,1,）,Voronoi,分割条件（最近邻准则）,对信号空间的分割应满足,根据该条件可以对信号空间进行最佳划分，得到的 称为一个胞腔,最佳矢量量化器满足的两个必要条件1）Voronoi分割条件（,17,2,）,Centroid,质心条件,子空间分割固定后，,Voronoi,胞元的质心就是量化器的码字,对于一般的失真测度和信源分布，很难找到质心的计算方法，但对于一般的分布和常用的均方失真测度，可以证明,是 中包含的矢量个数,2）Centroid质心条件子空间分割固定后，Voronoi,18,二、,LBG,算法,K-means clustering algorithm,1980,年由,Linde,，,Buzo,和,Gray,提出，它是标量量化器中,Lloyd,算法的推广，在矢量量化中是一个基本算法。,LBG,算法由于其理论上的,严密性,、应用上的,简便性,以及,较好的设计效果,，得到了广泛的应用，并常被作为各种改进算法的基础,二、LBG算法 K-means clustering alg,19,LBG,算法步骤,第一步：初始化,给出训练,VQ,码书所需的全部参考矢量,X,，,X,的集合用,S,表示；设定量化级数，失真控制门限 ，算法最大迭代次数,L,以及初始码书 ；设总失真 ；迭代次数的初始化为,m,1,LBG算法步骤第一步：初始化 给出训练VQ码,20,第二步：迭代,2,）计算失真：,1,）根据最近邻准则将,S,分成,N,个子集 ，,，,，,，即当 时，下式成,立：,第二步：迭代2）计算失真：1）根据最近邻准则将S分成N个子集,21,4,）计算相对失真改进量 ：,3,）计算新码字,将 与失真门限值 进行比较。若 则转入,6,）否则转入,5,）；,4）计算相对失真改进量 ：3）计算新码字将,22,5,）若 则转至,6,），否则,m,加,1,，转至,1,）,第三步：结束,6,）得到最终的训练码书 ，,并输出总失真,为了避免迭代算法无限制循环下去，这里设置了两个阈值参数：最大迭代次数,L,和失真控制门限 。的值设得远小于,1,，当 时，表明再进行迭代运算失真得减小是有限的、可,5）若 则转至6），否则m加1，转至1）,23,以停止运算。,L,是限制迭代次数的参数，防止 设置较低时迭代次数过多,三、初始码书的选择,随机选取法,分裂法,以停止运算。L是限制迭代次数的参数，防止 设置较低时迭代,24,分裂法,0.010.05,分裂法0.010.05,25,降低复杂度的矢量量化系统（）知识扩展）,矢量量化系统主要由编码器和译码器组成,：,编码器主要由码书搜索算法和码书构成,译码器由查表方法和码书构成,矢量量化器的研究主要围绕降低速率、减少失真和降低复杂度展开。,降低复杂度的设计方法大致分为两类：,一类是无记忆的矢量量化器,另一类是有记忆的矢量量化器,降低复杂度的矢量量化系统（）知识扩展）矢量量化系统主要由,26,一、无记忆的矢量量化系统,无记忆矢量量化是指量化每一个矢量时,都不依赖于此矢量前面的其他矢量,，即每一个矢量都是独立量化的。,1,、全搜索矢量量化器,前面我们介绍的,LBG,算法，在进行,VQ,编码时，采用的就是全搜索法，即对于每个输入矢量，比较它与每一个码书中的码字的失真，并将失真最小的码字标号作为输出,一、无记忆的矢量量化系统 无记忆矢量量化是指量化每一个,27,2.,树形搜索的矢量量化系统,树形搜索是减少矢量量化计算量的一种重要方法。,它又分为,二叉树,和,多叉树,两种：,码字不象普通的码字那样随意放置，而是排列在一棵树的接点上，如图所示，码本尺寸为,M=8,的二叉树，它的码本中共包含14个码字。输入矢量,X,先与,Y,0,和,Y,1,比较，计算出失真,d(X,Y,0,),和,d(X,Y,1,)。,如果后者较小，则走下面支路，同时送出“1”，同理，如果最后达到,Y101，,则送出的输出角标101。这就是矢量量化的过程。,2.树形搜索的矢量量化系统 树形搜索是减少矢量量化计算量,28,表,7,1,二叉树与全搜索的比较,失真运算量,比较运算量,存储容量,最佳程度,全搜索,M=8,M=8,M=8,全体,二叉树,2,log,2,M=6,2,log,2,M=3,2(,M-1)=14,局部,二叉树搜索的主要优点是计算量有很大减少而性能下降并不多，但存储量增加。,表71 二叉树与全搜索的比较失真运算量比较运算量存储容量最,29,2.多级矢量量化系统,多级矢量量化器由,若干级矢量量化器级联而成,，因而又称级联矢量量化器。,多级矢量量化不仅可以减少计算量还可以减少存储量。,多级矢量量化器由若干个小码书构成。,2.多级矢量量化系统 多级矢量量化器由若干级矢量量化,30,图,7-5,两级矢量量化系统工作框图及码书训练,先采用一个小的码书，其长度为,M1，,用它来逼近输入信号矢量；然后再用第二个小码书，其长度为,M2，,用它来对第一次的误差进行编码；输入矢量与第一级匹配，得到其地址编号,i，,然后在第二级码书中搜索与这个误差矢量最佳匹配的矢量，得到其地址编号,j，,将 和 同时发送出去，在接受端根据 和,来恢复原来的矢量，由于每本码书的体积较小，所以采用全搜索法,图7-5 两级矢量量化系统工作框图及码书训练先采用一个小,31,二、有记忆的矢量量化系统,在量化每一个输入时，不仅与此矢量本身有关，而且也与前面的矢量有关。,有记忆矢量量化系统,反馈矢量量化,自适应矢量量化,分类：,预测矢量量化,PVQ,(Predictive VQ),有限状态矢量量化,FSVQ(Finite-State VQ),自适应矢量量化(,Adaptive VQ),是采用多个码书，量化时根据输入矢量的不同特征采用不同的码书。,二、有记忆的矢量量化系统 在量化每一个输入时，不仅与此矢,32,实际例子：,语音参数的矢量量化,语音参数的矢量量化 将语音信号经过分析，得到各种参数，然后再将这些按帧分析所得的参数构成矢量，进行矢量量化。,线性预测系数的矢量量化,是人们最关心的问题。,例：线性预测编码的矢量量化器（,VQ LPC）,声码器。,实际例子：语音参数的矢量量化语音参数的矢量量化 将语音,33,图,7-7 800b/s,的,VQ LPC,声码器框图,对线性预测系数采用了矢量量化，而其余参数均采用差值标量量化,图7-7 800b/s的VQ LPC声码器框图对线性预测系,34,语音识别-矢量量化课件,35,（了解）模糊,c,均值聚类算法目标函数为如下式所示：,式,4-33,（了解）模糊c均值聚类算法目标函数为如下式所示：式 4-33,36,根据目标函数的模糊,c,均值类聚算式如下：,式,4-34,根据目标函数的模糊c均值类聚算式如下：式 4-34,37,模糊矢量量化码本估计的步骤如下：,1,）设定初始码本和每个码字的初始隶属度函数 ，为了方便可以令每个码字的初始隶属度函数为相等的值；,2,）对于训练观察矢量序列 ，利用式（,4-34,）计算新的聚类中心 及新的隶属度函数 ；,3,）利用式（,4-33,）的目标函数，判断迭代计算是否收敛。如果前后差值小于某个阈值，则迭代计算结束，由新的聚类中心和隶属度函数集组成重估后的新码本；否则继续进行下一轮迭代计算。,模糊矢量量化码本估计的步骤如下：,38,模糊矢量量化的步骤如下：,1,）对于待矢量量化的输入矢量 ，模糊矢量量化不是通过矢量量化把输入矢量 量化成为某个码字 ，而是把输入矢量,量化成由隶属度函数组成的矢量 ，它表示 分别属于码字 的