第四章 矢量量化技术

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,#,第四章 矢量量化技术,4.1,概述,4.2,矢量量化的基本原理,4.3,矢量量化的失真测度,4.4,矢量量化器的最佳码本设计,4.5,矢量量化技术的优化设计,4.1,概述,矢量量化（,Vector Quantization,，,VQ,）技术是,20,世纪,70,年代后期发展起来的一种数据压缩和编码技术，广泛应用于语音编码、语音合成、语音识别和说话人识别等领域。矢量量化在语音信号处理中占有十分重要的地位，在许多重要的研究课题中，矢量量化都起着非常重要的作用。,4.2,矢量量化的基本原理,一、矢量量化的基本原理,二、矢量量化在语音识别中的应用,三、矢量量化的关键之处,一、矢量量化的基本原理,1,、矢量的定义,若干个标量数据组成一个矢量，标量的个数就为矢量的维数。如语音信号某一帧中提取的声道参数，共,K,个，,X,i,=a,i1,a,i2,a,iK,。则,X,i,是一个,K,维矢量。设共有,N,个,K,维矢量,X=X,1,X,2,X,N,其中第,i,个矢量为,X,i,，,i=1,2,N,。类比过来，,N,个语音帧，每帧中共有,K,个声道参数，共组成,N,个,K,维矢量。,一、矢量量化的基本原理,2,、矢量空间的划分,把,K,维欧几里德空间 无遗漏的划分为,J,个互不相交的子空间,R,1,R,2,R,J,这些子空间,R,j,称为胞腔。,在每一个子空间,R,j,找一个代表矢量,Y,j,，则,J,个代表矢量可以组成矢量集为,Y=Y,1,Y,2,Y,J,这样就组成了一个矢量量化器，在矢量量化里,Y,叫做码书或码本；,Y,j,称为码矢或码字；,Y,内矢量的个数,J,则叫做码本长度或者码本尺寸。,一、矢量量化的基本原理,3,、矢量量化的过程,当给矢量量化器输入一个任意矢量,进行矢量量化时，矢量量化器首先判断它属于哪个子空间,R,j,，然后输出该子空间,R,j,的代表矢量,Y,j,。矢量量化过程就是用,Y,j,代替,X,i,的过程，或者说把,X,i,量化成了,Y,j,，即,Y,j,Q(X,i,),，,1,j,J,，,1,i,N,式中，,Q(X,i,),为量化器函数。从而矢量量化的全过程完成一个从,K,维欧几里德空间 中的矢量,X,i,到,K,维空间有限子集,Y,的映射,Q,：,一、矢量量化的基本原理,4,、判断规则,当给矢量量化器输入一个任意矢量,X,i,进行矢量量化时，首先要选择一个合适的失真测度，而后根据最小失真原理，分别计算用各码矢,Y,j,代替,X,i,所带来的失真。其中产生最小失真的那个码矢,Y,j,，就是,X,i,的重构矢量（或称恢复矢量），或者称为矢量,X,i,被量化成了那个码矢。,二、矢量量化在语音识别中的应用,矢量量化技术在语音识别中应用时，一般是先用矢量量化的码本作为语音识别的参考模板，即系统词库中的每一个字（词）做一个码本作为该字（词）的参考模板。识别时对于任意输入的语音特征矢量序列,X,1,X,2,X,N,，,计算该序列对每一个码本的总平均的失真量化误差，即语音每一帧特征矢量与码本的失真之和除以该语音的长度（帧数）。总平均失真误差最小的码本所对应的字（词）即为识别结果，这一过程如下图所示。,二、矢量量化在语音识别中的应用,三、矢量量化的关键之处,1,、,设计一个好的码本,关键在于如何划分,J,个区域边界。这需要大量的输入信号矢量，经过统计实验才能确定，这个过程称为,“,训练,”,或,“,学习,”,。,应用聚类算法，按照一定的失真度准则，对训练的数据进行分类，从而把训练数据在多维空间中划分成一个个以码字为中心的胞腔，常用的是,LBG,算法来实现。,三、矢量量化的关键之处,2,、未知矢量的量化,对未知矢量，按照选定的失真测度准则，把未知矢量量化为失真测度最小的区域边界的中心矢量值（码字矢量），并获得该码字的序列号。,其次是未知矢量量化时的搜索策略，好的搜索策略可以减少量化时间。,4.3,矢量量化的失真测度,一、失真测度的定义,二、欧氏距离测度,三、线性预测失真测度,四、识别失真测度,一、失真测度的定义,失真测度（距离测度）就是将输入矢量,X,i,用码本重构矢量,Y,j,来表征时所产生的误差或失真的度量方法，它可以描述两个或多个模型矢量之间的相似程度。,K,维语音特征矢量,X,和码本,Y,的失真测度,d(X,Y),需满足下列条件：,1,）对称性,d(X,Y),d(Y,X),2,）正值性,d(X,Y)0,；,d(X,X)=0,3,）,d(X,Y),在频域有物理意义,4,）对,d(X,Y),有高效率的计算方法,最常用的失真测度是欧氏距离测度、加权欧氏距离测度、识别失真测度等。,二、欧氏距离测度,设未知模式的,K,维特征为,X,，与码本中某个,K,维码矢,Y,进行比较， ， 分别表示,X,和,Y,的同一维分量,( ),，,则几种常用的欧氏距离测度如下：,1,）均方误差欧氏距离,这里， 的下标,2,表示平方误差。,2,）,r,方平均误差,二、欧氏距离测度,3,）,r,平均误差,4,）绝对值平均误差,5,）最大平均误差,二、欧氏距离测度,6,）加权欧氏距离测度,式中，,称为加权系数。,常用的加权系数有,三、线性预测失真测度,当语音信号特征矢量是用线性预测方法求出的,LPC,系数时，为了比较用这种参数表征的矢量，不宜直接使用欧氏距离。因为，仅由预测器系数的差值不能完全表征这两个语音信息的差别。此时应直接使用由这些系数所描述的信号模型的功率谱来进行比较。,I-S,距离适用于,LPC,参数描述语音信号的情况。,当预测器的阶数 ，信号与模型完全匹配，信号功率谱,式中， 表示信号的功率谱， 为预测误差功率， 为预测逆滤波器的频率响应。,三、线性预测失真测度,相应地，设码本中某重构矢量的功率谱为,则可定义,I-S,距离如下：,式中 ；,R,是 阶的自相关矩阵，而,三、线性预测失真测度,这里,，,其中，,N,为信号 的长度， 为信号的自相关函数，,为预测系数的自相关函数。,是码书重构矢量的预测误差功率,三、线性预测失真测度,又推导出以下两种线性预测的失真测度，它们比上述 具有更好的性能。,1,）,对数似然比失真测度,2,）,模型失真测度,四、识别失真测度,将矢量量化技术用于语音识别时，对失真测度还应有其他的一些考虑。例如，对两矢量的功率谱的比较在使用,LPC,参数的似然比失真测度时，还应考虑到能量。因为研究表明，频谱与能量都携带有语音信号的信息。,为此，可采用如下的失真度定义,式中， 及 分别为输入信号矢量和码书重构矢量的归一化能量。 可取为,4.4,矢量量化器的最佳码本设计,一、最佳码本设计的原则,二、,LBG,算法,三、初始码本的生成,一、最佳码本的设计原则,所谓最佳设计，就是从大量信号样本中训练出好的码本；从实际效果出发寻找到好的失真测度定义公式；用最少的搜索和计算失真的运算量，来实现最大可能的平均信噪比。,最佳码本设计的两条原则,1,）遵从最邻近准则，即,2,）,所有选择码字,Y,l,的输入矢量,X,的集合为,S,l,，那么,Y,l,是,S,l,中所有矢量的质心，即,二、,LBG,算法,LBG,算法是一种递推算法，从一个事先选定的初始码本开始迭代。若以欧氏距离计算两个矢量的畸变，那么,LBG,的算法思想是：把训练序列按照码本中的码矢根据最邻近准则分组，对每一分组找质心，得到新的码本，又作为初始码本，再进行分组，重复上述过程，直到系统性能满足要求和不再有明显的改进为止。,三、初始码本的生成,1,、随机选取法,从训练序列中随机的选取,J,个矢量作为初始码字，从而构成初始码本。,优点是简单，不需要初始化计算。,问题是可能选到一些非典型的矢量作为码字，使最终设计的码本达不到最优。,三、初始码本的生成,2,、分裂法,步骤如下,1,）首先求出,S,中全体训练矢量,X,的质心作为初始化码本的码字 。,2,）将 分裂为新的初始码本 、 ，利用,LBG,算法进行迭代计算，求得新码本 、 。,3,）重复上面的循环，经过,r,次后，最终码书容量 。,三、初始码本的生成,3,、链映射法,步骤如下：,1),特征空间各矢量按规律排序：在待聚类的点中先任选一点，称为,X,1,，排作首位；求其最邻近点称为,X,2,，列为第二位，以此类推，则得一矢量序列,X,1,，,X,2,，,，,X,N,。,2),设,X,i,X,i-1,间的距离为,d,i,，则得距离序列,d,1,，,d,2,d,N-1,。做出的关系图，这个图称为这批特征点的“链映射图”。,3),链映射图尖峰状的位置代表特征性质有突变的位置，故可以把在每两相邻峰值之间的各点归为一类。,4.5,矢量量化技术的优化设计,上面介绍的矢量量化技术用于语音信号处理时有其局限：,实时性的问题,码本优化问题,降低复杂度的优化设计方法：引入模糊理论,模糊,c,均值聚类算法,模糊,c,均值聚类算法目标函数为如下式所示：,(4-29),其中， 为某一训练观察矢量序列； 为各类聚中心组成的码本； 为一个模糊,c,均值隶属度函数集，是第,k,个类聚中心即第,k,个码字的隶属度函数； 代表模糊度。,模糊,c,均值聚类算法,根据目标函数的模糊,c,均值类聚算式如下：,(4-30),模糊,c,均值聚类算法,模糊矢量量化码本估计的步骤如下：,1,）设定初始码本和每个码字的初始隶属度函数 ，为了方便可以令每个码字的初始隶属度函数为相等的值；,2,）对于训练观察矢量序列 ，利用式（,4-30,）计算新的聚类中心 及新的隶属度函数 ；,3,）利用式（,4-29,）的目标函数，判断迭代计算是否收敛。如果前后差值小于某个阈值，则迭代计算结束，由新的聚类中心和隶属度函数集组成重估后的新码本；否则继续进行下一轮迭代计算。,模糊,c,均值聚类算法,模糊矢量量化的步骤如下：,1,）对于待矢量量化的输入矢量 ，模糊矢量量化不是通过矢量量化把输入矢量 量化成为某个码字 ，而是把输入矢量 量化成由隶属度函数组成的矢量,，,它表示 分别属于码字 的程度是多少；其中 由下式给定：,2,）这时 的量化误差由下式给定：,模糊,c,均值聚类算法,3,） 的重构矢量由下式给定：,可见 的重构矢量由码字 的线性组合组成。,