第4章矢量量化课件

第四章第四章 语音信号的矢量量化语音信号的矢量量化4.1 概述概述4.2 矢量量化的基本原理矢量量化的基本原理4.3 失真测度失真测度4.4 最佳矢量量化器和码本的设计最佳矢量量化器和码本的设计4.5 降低复杂度的矢量量化系统降低复杂度的矢量量化系统4.6 语音参数的矢量量化语音参数的矢量量化4.7 人工神经网络与人工神经网络与VQ4.8 遗传矢量量化遗传矢量量化5/17/20241第四章 语音信号的矢量量化4.1 概述8/3/24.1 概述量量化化分分为为两两大大类类：一一类类是是标标量量量量化化，另另一一类类是矢量量化。是矢量量化。标标量量量量化化:用用若若干干个个离离散散的的数数字字值值来来表表示示每每一一个个幅幅度度具具有有连连续续取取值值(模模拟拟值值)的的离离散散时时域域信信号号(采样信号采样信号)。5/17/202424.1 概述量化分为两大类：一类是标量量化，另一类是矢量矢矢量量量量化化的的定定义义：矢矢量量量量化化(Vector Quantization)是是将将若若干干个个取取样样信信号号分分成成一一组组，即即构构成成一一个个矢矢量量，然然后后对对此此矢矢量量一一次次进进行行量量化化。将将某某一一范范围围内内的的矢矢量量归为某一类，即所谓的矢量量化归为某一类，即所谓的矢量量化5/17/20243矢量量化的定义：矢量量化(Vector Quantizati 矢矢量量量量化化研研究究的的基基础础是是信信息息论论的的一一个个分分支支：“率率畸畸变变理理论论”，其其中中有有两两项项理理论论研研究究成成果果对对于于矢矢量量量量化化算算法法的的发发展起关键作用。展起关键作用。第第一一，该该理理论论指指出出，对对于于一一定定的的量量化化速速率率R(以以每每个个采采样样信信号号平平均均所所用用的的量量化化比比持持数数衡衡量量，用用比比特特采采样样表表示示)，量量化化畸畸变变D(以以量量化化信信号号与与原原信信号号之之间间的的误误差差均均方方值值和和原原信信号号均均方值之比来衡量方值之比来衡量)是一定的。是一定的。第第二二，无无论论对对于于何何种种信信息息源源，即即使使是是无无记记忆忆的的信信息息源源(即即各各个个采采样样信信号号之之间间相相互互统统计计独独立立的的情情况况)，矢矢量量量量化化总总是是优优于标量量化，且矢量维数越大优度越高。于标量量化，且矢量维数越大优度越高。5/17/20244 矢量量化研究的基础是信息论的一个分支：“率畸变理论”，矢矢量量量量化化的的应应用用：进进入入80年年代代以以后后，矢矢量量量量化化技技术术引引入入语语音音处处理理领领域域，使使之之又又有有长长足足的的进进步步。目目前前这这项项技技术术已已经经用用于于语语音音波波形形编编码码，线线性性预预测测编码、编码、语音识别与合成、图像压缩等语音识别与合成、图像压缩等。矢量量化的研究目的：矢量量化的研究目的：针对待定的信息源和矢量针对待定的信息源和矢量维数，找到一种最优的矢量量化器，它能够在维数，找到一种最优的矢量量化器，它能够在R一定时给出最低的畸变。一定时给出最低的畸变。5/17/20245矢量量化的应用：进入80年代以后，矢量量化技术引入语音处理领上图的两维矢量空间里，存在上图的两维矢量空间里，存在6类矢量，每一类都有类矢量，每一类都有一个中心，一个中心，称为室心称为室心 ，每一室心对应一个码，每一室心对应一个码字矢量字矢量 。从量上来表征第从量上来表征第i类矢量。类矢量。集合集合 称为码本。称为码本。图图4.1什么是矢量量化什么是矢量量化(VQ)5/17/20246上图的两维矢量空间里，存在6类矢量，每一类都有一个中心，称任意一个矢量任意一个矢量V应该归为哪一类，要看它是应该归为哪一类，要看它是“靠近靠近”哪一类矢量，或者说它离哪一个室心最哪一类矢量，或者说它离哪一个室心最“近近”。例如上图中虚线画出的矢量例如上图中虚线画出的矢量V最靠近最靠近V1，则将其规，则将其规定为定为V1类，并用类，并用V1表示表示V，或者说，或者说V被量化为被量化为V1。这样作可以把本来无限多的矢量只用有限个码字矢这样作可以把本来无限多的矢量只用有限个码字矢量来表示量来表示(此处为此处为6个个)。假如码本中的码字矢量是。假如码本中的码字矢量是有序的，则被量化的矢量可用码字序号来表示。因有序的，则被量化的矢量可用码字序号来表示。因此，可以大大压缩信息量。此，可以大大压缩信息量。5/17/20247任意一个矢量V应该归为哪一类，要看它是“靠近”哪一类矢量，或4.2 4.2 矢量量化的基本原理矢量量化的基本原理 矢矢量量量量化化的的过过程程是是：将将语语音音信信号号波波形形的的A个个样样点点的的每每一一帧帧，或或有有k个个参参数数的的每每一一参参数数帧帧，构构成成k维维空间中的一个矢量，然后对这个矢量进行量化。空间中的一个矢量，然后对这个矢量进行量化。标量量化和矢量量化的区别标量量化和矢量量化的区别：在标量量化时，在：在标量量化时，在一维的零至无穷大值之间设置若干个量化阶梯，一维的零至无穷大值之间设置若干个量化阶梯，当某输入信号的幅度值落在某相邻的两个量化阶当某输入信号的幅度值落在某相邻的两个量化阶梯之间时，就被量化为两阶梯的中心值。而在矢梯之间时，就被量化为两阶梯的中心值。而在矢量量化时，则将量量化时，则将A维无限空间划分为维无限空间划分为M个区域边个区域边界，然后将输入矢量与这些边界进行比较，并被界，然后将输入矢量与这些边界进行比较，并被量化为量化为“距离距离”最小的区域边界的中心矢量值。最小的区域边界的中心矢量值。5/17/202484.2 矢量量化的基本原理 矢量量化的过程是：将语音信号下面以K=2为例进行说明。5/17/20249下面以K=2为例进行说明。8/3/20239相相关关概概念念：若若要要对对一一个个矢矢量量X进进行行量量化化，首首先先要要选选择择一一个个合合适适的的失失真真测测度度，而而后后用用最最小小失失真真原原理理，分分别别计计算算用用量量化化矢矢量量Yi替替代代x所所带带来来的的失失真真。其其中中最最小小失失真真值值所所对对应应的的那那个个量量化化矢矢量量，就就是是矢矢量量X的的重重构构矢矢量量(或或称称恢恢复复矢矢量量)。通通常常把把所所有有M个个量量化化矢矢量量构构成成的的集集合合Yi称称为为码码书书或或码码本本(Codebook)。把把码码书书中中的的每每个个量量化化矢矢量量Yi(i=1，2，M)称称为为码码字字或或码码矢矢。不不同同的的划划分分或或不不同同的的量量化矢量选取就可以构成不同的化矢量选取就可以构成不同的矢量量化器矢量量化器。5/17/202410相关概念：若要对一个矢量X进行量化，首先要选择一个合适的失真矢量量化系统的组成：矢量量化系统的组成框图5/17/202411矢量量化系统的组成：矢量量化系统的组成框图8/3/2023矢量量化的特点：矢量量化的特点：矢量量化的两个问题矢量量化的两个问题：有高度保密的优良性能；用于传输时，其传输速率可有高度保密的优良性能；用于传输时，其传输速率可以进一步降低；稳定性能好。以进一步降低；稳定性能好。如何划分如何划分M个区域边界个区域边界。这个过程称为这个过程称为“训练训练”或建立码书，方法是：或建立码书，方法是：将大量的欲处理的信号的波形帧矢量或参数帧矢量将大量的欲处理的信号的波形帧矢量或参数帧矢量进行统计划分，进一步确定这些划分边界的中心矢进行统计划分，进一步确定这些划分边界的中心矢量值来得到码书。量值来得到码书。如何确定两矢量在进行比较时的测度如何确定两矢量在进行比较时的测度。这个测度就是两矢量之间的距离，或以其中某这个测度就是两矢量之间的距离，或以其中某一矢量为基准时的失真度。它描述了当输入矢量用一矢量为基准时的失真度。它描述了当输入矢量用码书所对应的矢量来表征时所应付出的代价。码书所对应的矢量来表征时所应付出的代价。5/17/202412矢量量化的特点：有高度保密的优良性能；用于传输时，其传输速率选择了失真测度以后，就可以进行矢量量化器的设计了。矢量量化器最佳设计的两个条件是：1)对给定的码本 ,(为码本尺寸），在矢量空间中，找出所有码本矢量的最佳区域边界使平均失真最小。1.2)对给定的区域边界，找出最佳码本矢量使平均失真最小，也就是得到码本。5/17/202413选择了失真测度以后，就可以进行矢量量化器的设计了。矢量量化器矢量量化器的性能指标：矢量量化器的性能指标：码书大小码书大小M M、平均信噪比。、平均信噪比。矢量量化器的设计：矢量量化器的设计：平均信噪比：平均信噪比：定义为定义为 方括号方括号中的分子是一秒内信号矢量的平均能量，而分母是一中的分子是一秒内信号矢量的平均能量，而分母是一秒内输入信号矢量与码书矢量之间的平均失真秒内输入信号矢量与码书矢量之间的平均失真(即量即量化噪声化噪声)。从大量信号样本中训练出好的码书，从实际效果出发从大量信号样本中训练出好的码书，从实际效果出发寻找到好的失真测度定义公式，设计出最佳的矢量量寻找到好的失真测度定义公式，设计出最佳的矢量量化系统，以便用最少的搜索和计算失真的运算量，来化系统，以便用最少的搜索和计算失真的运算量，来实现最大可能的平均信噪比。实现最大可能的平均信噪比。5/17/202414矢量量化器的性能指标：码书大小M、平均信噪比。平均信噪比：84.3 失真测度 失真的定义：失真的定义：失真测度必须具备的特性：失真测度必须具备的特性：将输入信号矢量用码书的重构矢量来表征时的将输入信号矢量用码书的重构矢量来表征时的误差或所付出的代价。误差或所付出的代价。必必须须在在主主观观评评价价上上有有意意义义，即即小小的的失失真真应应该该对对应应于好的主观语音质量。于好的主观语音质量。必必须须是是易易于于处处理理的的，即即在在数数学学上上易易于于实实现现，这这样样可以用于实际的矢量量化器的设计。可以用于实际的矢量量化器的设计。平均失真存在并且可以计算。平均失真存在并且可以计算。5/17/2024154.3 失真测度 失真的定义：将输入信号矢量用码书失真测度的方法：均方误差均方误差(即欧氏距离即欧氏距离)、加权的均方误差、加权的均方误差、ItakuraSaito（板仓（板仓-斋藤）斋藤）距离，似然比失距离，似然比失真测度等。真测度等。5/17/202416失真测度的方法：均方误差(即欧氏距离)、加权的均方误4.3.1 欧氏距离均方误差 设设输输入入信信号号的的某某个个k维维矢矢量量X，与与码码书书中中某某个个k维维矢量矢量Y进行比较，进行比较，xi、yi分别表示分别表示X和和Y的元素的元素(1ik)，则定义均方误差为欧氏距离，即有，则定义均方误差为欧氏距离，即有 5/17/2024174.3.1 欧氏距离均方误差 设输入信号的某几种其他常用的欧氏距离几种其他常用的欧氏距离：5/17/202418几种其他常用的欧氏距离：8/3/2023184.3.2 线性预测失真测度 直直接接用用由由线线性性预预测测系系数数所所描描述述的的信信号号模模型型的的功功率率谱谱来来进进行行比比较较，采采用用板板仓仓斋斋藤藤(ItakuraSaito)距离，简称距离，简称IS距离。距离。但是，这两种失真测度也有其局限性，它们都但是，这两种失真测度也有其局限性，它们都仅仅比较了两矢量的功率谱，而没有考虑其能量信仅仅比较了两矢量的功率谱，而没有考虑其能量信息。息。5/17/2024194.3.2 线性预测失真测度 直接用由线性预测系4.3.3 识别失真测度 5/17/2024204.3.3 识别失真测度 8/3/20232044.4最佳矢量量化器和码本的设计最佳矢量量化器和码本的设计4.4.1 .4.1 矢量量化器最佳设计的两个条件矢量量化器最佳设计的两个条件 定义定义：所谓最佳设计，就是使失真最小。：所谓最佳设计，就是使失真最小。由于码书就是在这个设计过程中产生的，由于码书就是在这个设计过程中产生的，所以这也就是码书的设计过程。所以这也就是码书的设计过程。重要问题重要问题：划分量化区间和确定量化矢量。：划分量化区间和确定量化矢量。5/17/2024214.4最佳矢量量化器和码本的设计4.4.1 矢量量化器1最佳划分最佳划分 对对给给定定的的码码书书yM=Y1,Y2,.,YM（M为为码码书书的的尺尺寸寸），找找出出所所有有码码书书矢矢量量的的最最佳佳区区域域边边界界Si(i=1,2,.,M)，以以使使平平均均失失真真最最小小，即即寻寻找找最最佳佳划划分分。由由于于码码书书已已给给定定，因因此此可可以以用用最最近近邻邻近近准准则则NNR(Nearest Neighbor Rule)得到最佳划分。得到最佳划分。这个条件实际上是叙述了最佳矢量量化器的设这个条件实际上是叙述了最佳矢量量化器的设计。由于给定码书共有计。由于给定码书共有M个码字，所以可以把矢量个码字，所以可以把矢量空间分成空间分成M个区间个区间Si(i=1,2,.,M)。这些。这些Si称为胞腔。称为胞腔。5/17/2024221最佳划分 对给定的码书yM=Y1,Y2,下图给出了下图给出了K=2的最佳划分示意图。的最佳划分示意图。5/17/202423下图给出了K=2的最佳划分示意图。8/3/2023232最佳码书 对于给定的区域边界对于给定的区域边界Si，找出最佳码书矢量，找出最佳码书矢量，使码书的平均失真最小，也就是得到码书使码书的平均失真最小，也就是得到码书yM。这里，。这里，使平均失真最小，码字使平均失真最小，码字Yi必须为给定的必须为给定的Si(i=1,2,.,M)的形心。形心就是该区域空间的几何中心。这些形的形心。形心就是该区域空间的几何中心。这些形心就组成了最佳码书中的码字。这个条件实际上叙心就组成了最佳码书中的码字。这个条件实际上叙述了码书的设计方法。述了码书的设计方法。5/17/2024242最佳码书 对于给定的区域边界Si，找出最佳码书矢4.4.2 LBG算法 5/17/2024254.4.2 LBG算法 8/3/2023254.4.3 初始码书的生成 1随机选取法随机选取法定定义义：从从训训练练序序列列中中随随机机地地选选取取M M个个矢矢量量作作为为初初始码字，从而构成初始码书，就是随机选取法。始码字，从而构成初始码书，就是随机选取法。优优点点：不不用用初初始始化化计计算算，从从而而可可大大大大减减少少计计算算时间时间缺缺点点：可可能能会会选选到到一一些些非非典典型型的的矢矢量量作作为为码码字字，即即被被选选中中的的码码字字在在训训练练序序列列中中的的分分布布不不均均匀匀。这这样样码码字字就就没没有有代代表表性性，导导致致码码书书中中有有限限个个码码字字得得不不到到充充分分利利用用，使使矢矢量量量量化化器器的的性性能能变变差差。这这种种方法带有一定的方法带有一定的“盲目性盲目性”。5/17/2024264.4.3 初始码书的生成 1随机选取法8/3/20232分裂法 方法原理方法原理：先认为码书尺寸为先认为码书尺寸为M=1，即初始码书中只包含，即初始码书中只包含一一个个码码字字。计计算算所所有有训训练练序序列列的的形形心心，将将此此形形心心作作为为第第一一个个码码字字（i=0）。然然后后，将将它它分分裂裂为为 此此时时码码书书中中包包含含有有两两个个元元素素，一一个个是是i=0，另另一一个个是是i=1；并并按按M=2用用训训练练序序列列对对它它设设计计出出M=2的的码码书书。接接着着，再再分分别别将将此此码码书书的的两两个个码码字字一一分分为为二二，这这时时码码书书中中就就有有了了4个个码码字字。这这个个过过程程重重复复下下去去，经经过过log2M次次设设计计，就得到所要求的有就得到所要求的有M个码字的初始码书。个码字的初始码书。特点特点：初始码书性能较好，以此码书设计的矢量量化：初始码书性能较好，以此码书设计的矢量量化器性能也较好；但是随着码书中码字的增加，计算量也器性能也较好；但是随着码书中码字的增加，计算量也迅速增加。迅速增加。5/17/2024272分裂法 方法原理：8/3/2023273乘积码书法 这种码书初始化的方法，是用若干个低维数的码这种码书初始化的方法，是用若干个低维数的码书作为乘积码，求得所需的高维数的码书。比如说，书作为乘积码，求得所需的高维数的码书。比如说，要设计一个高维数的码书，可简单地用要设计一个高维数的码书，可简单地用2个低维数的个低维数的码书作乘积来获得。即维数为码书作乘积来获得。即维数为k1，大小为，大小为M1的码书的码书乘以维数为乘以维数为k-k1，大小为，大小为M2的码书，得到一个的码书，得到一个k维码维码书，其大小为书，其大小为M=M1M2。5/17/2024283乘积码书法 这种码书初始化的方法，是用若干个低维44.5 降低复杂度的矢量量化系统降低复杂度的矢量量化系统 方法分类方法分类：无记忆的矢量量化、有记忆无记忆的矢量量化、有记忆的矢量量化器。的矢量量化器。4.5.1 4.5.1 无记忆的矢量量化系统无记忆的矢量量化系统1 1树形搜索的矢量量化系统树形搜索的矢量量化系统 分类：二叉树、多叉树。分类：二叉树、多叉树。5/17/2024294.5 降低复杂度的矢量量化系统 方法分类：无记忆的矢量如图：码本尺寸如图：码本尺寸M=8的二叉树，它的码本中共包含有的二叉树，它的码本中共包含有14个码字。输入信号矢量为个码字。输入信号矢量为X，先与，先与Y0与与Yl比较，计比较，计算出失真算出失真d(X，Y0)和和d(X，Y1)。如果后者较小，则。如果后者较小，则走下面支路，同时送走下面支路，同时送“1”输出。类似地，如果最后到输出。类似地，如果最后到达达Yl0l，则送出的输出角标就是，则送出的输出角标就是101。这个过程也就。这个过程也就是矢量量化的过程。是矢量量化的过程。5/17/202430如图：码本尺寸M=8的二叉树，它的码本中共包含有14个码字。优点优点：可以减少运算量。：可以减少运算量。缺点缺点：存储容量增大且性能会有所降低。：存储容量增大且性能会有所降低。5/17/202431优点：可以减少运算量。8/3/2023312多级矢量量化系统 5/17/2024322多级矢量量化系统 8/3/2023325/17/2024338/3/2023334.5.2 有记忆的矢量量化系统 概概念念：有有记记忆忆的的矢矢量量量量化化在在量量化化每每一一个个输输入入矢矢量量时时，不不仅仅与与此此矢矢量量本本身身有有关关，而而且且也也与与其其前前面面的的矢矢量量有有关关。也也就就在在量量化化时时，它它通通过过“记记忆忆”，利利用用了了过过去去输输入入矢矢量量的的信信息息，利利用用了了矢矢量量与与矢矢量量之之间间的的相相关关性性，从从而而提提高高了矢量量化的性能。了矢量量化的性能。优点优点：在语音编码中，引入记忆后，还可利用音长、：在语音编码中，引入记忆后，还可利用音长、短时的非平稳统计特性，清音、浊音和无声区域的特短时的非平稳统计特性，清音、浊音和无声区域的特性，短时频谱特性等信息。意味着在相同维数条件下性，短时频谱特性等信息。意味着在相同维数条件下大大提高了矢量量化系统的性能。大大提高了矢量量化系统的性能。5/17/2024344.5.2 有记忆的矢量量化系统 概念：有记忆的矢量量化在预测矢量量化（预测矢量量化（Predictive VQ），自适应矢量量化），自适应矢量量化（Adaptive VQ）,APVQ是它们的结合。下图是是它们的结合。下图是APVQ的系统框图。的系统框图。5/17/202435预测矢量量化（Predictive VQ），自适应矢量量化（4.6 语音参数的矢量量化 语音参数矢量量化的定义语音参数矢量量化的定义：将语音信号经过分析，得：将语音信号经过分析，得到各种参数，然后再将这些按帧或按段分析所得的参到各种参数，然后再将这些按帧或按段分析所得的参数组构成矢量，进行矢量量化。数组构成矢量，进行矢量量化。语音参数的矢量量化：是在生成码本的基础上，语音参数的矢量量化：是在生成码本的基础上，对作为矢量的语音参数序列进行编码的过程。对作为矢量的语音参数序列进行编码的过程。这个定义含有两个过程：这个定义含有两个过程：n先要生成码本，这是将语音参数序列作为矢量空间分先要生成码本，这是将语音参数序列作为矢量空间分类的形成码本的过程；类的形成码本的过程；n将语音参数序列作为矢量，参照码本归类的过程；将语音参数序列作为矢量，参照码本归类的过程；5/17/2024364.6 语音参数的矢量量化 语音参数矢量量化的定义：将语音举例分析 矢量量化前，每秒矢量量化前，每秒44.4帧，用帧，用54bit量化量化(其中，十个其中，十个线性预测系数用线性预测系数用41 bit，基音周期用，基音周期用6bit，增益参数，增益参数5bit，清浊音判决用清浊音判决用1 bit，同步用，同步用1bit)。而在。而在VQ LPC声码器声码器中，线性预测系数是中，线性预测系数是Ai，基音周期是，基音周期是Bi，增益参数，增益参数Gi和浊清音识别参数和浊清音识别参数Vi。5/17/202437举例分析 矢量量化前，每秒44.4帧，用54bVQ LPC声码器特点声码器特点：对线性预测系数采用了：对线性预测系数采用了矢量量化，而其余参数均采用差值标量量化。矢量量化，而其余参数均采用差值标量量化。编码速率明显地比原来的编码速率明显地比原来的LPC声码器低。声码器低。语音编码的目的语音编码的目的：力求用尽可能低的编码速率，：力求用尽可能低的编码速率，以传输尽可能高的语音质量以传输尽可能高的语音质量(尽可能地减小重尽可能地减小重建信号与原始信号之间的失真建信号与原始信号之间的失真)，而希望设备，而希望设备简单，成本尽可能低。简单，成本尽可能低。5/17/202438VQ LPC声码器特点：对线性预测系数采用了矢量量化，而其余 采采用用与与能能量量和和增增益益无无关关的的对对数数似似然然比比失失真真测测度度作为作为VQ的距离测度。的距离测度。码书尺寸为码书尺寸为1 024，即用，即用10bit来表示其角标。码来表示其角标。码书的产生是用书的产生是用10个人个人(其中其中7人为男子，人为男子，3人为女子人为女子)的的大约大约30分钟的随机对话的声音来进行训练产生的。分钟的随机对话的声音来进行训练产生的。并将训练序列分为浊音和清音两类。因此，对应的并将训练序列分为浊音和清音两类。因此，对应的码书也分为浊音码书和清音码书两类，都用码书也分为浊音码书和清音码书两类，都用LBG算算法训练。法训练。VQ LPC声码器的设计方法5/17/202439 采用与能量和增益无关的对数似然比失真测度作为VQ的 由于采用了矢量量化，所以由于采用了矢量量化，所以VQ LPC声码器编码声码器编码速率明显降低了。在这种声码器中，仅对线性预测系速率明显降低了。在这种声码器中，仅对线性预测系数采用了矢量量化，对其他参数均采用差值标量量化。数采用了矢量量化，对其他参数均采用差值标量量化。这种混合编码方式是解决矢量量化系统复杂度过高的这种混合编码方式是解决矢量量化系统复杂度过高的一个方法。一个方法。意义：5/17/202440 由于采用了矢量量化，所以VQ LPC声码器编4.7 人工神经网络与VQ人工神经网络的一项非常重要的功能是通过学习实现对于输入矢量的分类。即每输入一个矢量，人工神经网络输出一个该矢量所属类别的标号，从这一点看它与VQ的功能是十分相近的。人工神经网络与普通VQ不同而独具特色之处在于：（1）它是由大量神经元构成的并行分布处理系统来实现的，因此较之普通VQ的串行搜索而言，它可以用并行搜索方法由输入矢量求得其输出标号。因此，它的运行速度比前者高得多。（2）人工神经网络依托于这套并行分布处理机构，可以建起高效的学习算法(与VQ码本的建立算法相对应，也可称之为训练算法)。5/17/2024414.7 人工神经网络与VQ人工神经网络的一项非常重要的功能学习算法可以分成无监督和有监督两大类。无监督学习算法又称为自组织学习算法，它对输人矢量所做的类别划分，无需依赖于外界事先已建立的对这些矢量类别的约定，从这点看自组织学习算法与普通VQ码本建立算法十分相似。有监督的学习算法则需在学习之前就建立训练矢量集合中各个矢量所属类别的约定，通过学习使神经网络能够完成这种约定；并且推而广之及于所有末参加训练的输人矢量。这样有监督学习算法可以直接或间接地用于完成各种模式识别任务。（3）对于普通VQ，各个输出标号之间不存在空间关系上的关联(拓朴关系)。而对于像Kohonen自组织特征映射人工神经网络等类型的网络，各个输出之间存在空间拓扑关联。这对于进一步利用这些输出是很有价值的。5/17/202442学习算法可以分成无监督和有监督两大类。无监督学习算法又称为自有三种人工神经网络与这一章讨论的VQ有密切关系，它们是：(1)前向多层人工神经网络(采用有监督学习算法)；(2)ART(自适应谐振理论)人工神经网络(采用自组织学习算法)；(3)TKohonen自组织待征映射人工神经网络(自组织和有监督学习算法都被采用)。5/17/202443有三种人工神经网络与这一章讨论的VQ有密切关系，它们是：(14.7.1 Kohonen神经网络简介在对人类的神经系统及脑的研究中，人们发现：人脑的某些区域对某种信息或感觉敏感，如人脑的某一部分对视知觉的处理特别有效，而另一部分则对听知觉的处理特别有效。这种情况使人们对大脑的作用的整体性与局部性特征有所认识。对大脑的研究表明，大脑是由大量协同作用的神经元群体组成的。大脑的神经网络是一个十分复杂的反馈系统，在这个系统中含有各种反馈作用，有整体反馈，局部反馈；另外，还有化学交互作用。在大脑处理信息的过程中，聚类是其极其重要的功能。大脑通过聚类过程从而识别外界信号，并产生自组织过程。5/17/2024444.7.1 Kohonen神经网络简介在对人类的神经系统及具有二维网格的自组织特征映射网络模型5/17/202445具有二维网格的自组织特征映射网络模型8/3/202345自组织特征映射神经网络学习算法的步骤如下：(1)采用随机扰动法生成一组初始权值:式中N为输入节点数，它对应着输入矢量的维数；M为输出节点的个数，同时将M个输出节点排列成二维阵列，每一个节点表示一个聚类中心。(2)每次输入一个N维的训练矢量，采用欧几里德距离测度，计算各输入节点到每一输出节点j的距离：，5/17/202446自组织特征映射神经网络学习算法的步骤如下：采用随机扰动法生成(3)选择最佳匹配的输出节点。即选出最小 对应的输出节点 。(4)调整相邻近节点 的权值：式中j是包含在 内的与相邻的输出节点。(t)是一个大于0而小于1的增益函数，其值是随迭代次数逐渐递减的。以节点为中心的邻近区域的大小（以邻域函数来表示）也是随迭代次数逐渐缩小的。5/17/202447(3)选择最佳匹配的输出节点。即选出最小 对应的输出(5)其它神经元的权值保持不变，即：(6)如果已经达到预定的迭代次数，停止迭代，否则转向(2)继续迭代，或象矢量量化那样根据相对失真值观察收敛的情况，决定是否结束。5/17/202448(5)其它神经元的权值保持不变，即：8/3/2023484.7.2 二进树码本形成算法在二进树码本形成算法在kohonen神经网络中神经网络中的应用的应用5/17/2024494.7.2 二进树码本形成算法在kohonen神经网络中的5/17/2024508/3/2023505/17/2024518/3/2023515/17/2024528/3/2023525/17/2024538/3/2023534.8 遗传矢量量化（遗传矢量量化（GAVQ）算法）算法 求取VQ码本的传统的方法是LBG算法。但该算法是一种局部优化算法，得到的码本质量往往不高。本节采用的遗传矢量量化算法(Genetic Algorithms Vector Quantization，GAVQ)，是一种全局优化算法，将遗传算法的全局优化特性和VQ建模技术巧妙地结合起来，通过科学的编码方案及对初始群体中的VQ码本进行有效的遗传操作从而搜索出训练矢量空间中的全局优化VQ码本。5/17/2024544.8 遗传矢量量化（GAVQ）算法 求取VQ码本的传统的4.8.1 遗传算法遗传算法遗传算法（Genetic Algorithm-GA）由美国J.Holland教授提出的，是模拟生物在自然环境中的遗传和进化过程而形成的一种自适应全局优化概率搜索算法。它模拟物种从低级到高级的演化过程，从一个称之为群体的随机初始解的集合开始，采用优胜劣汰，适者生存的自然法则，通过对群体施加遗传操作实现群体内个体结构重组的迭代过程，每一次迭代获得一组解答，每个解答由一个适应度函数来评估，这一过程不断重复，直到达到某种形式上的收敛。5/17/2024554.8.1 遗传算法遗传算法（Genetic Algori遗传算法尤其适用于处理传统搜索方法难以解决的复杂和非线性问题，可以广泛用于组合优化、机器学习、自适应控制和人工生命等领域。而且，遗传算法作为一种新的全局优化搜索方法，具有简单通用、鲁棒性强、适于并行处理和应用广泛的优点，近些年得到了迅速的发展，已广泛用于最优控制、图像编码、发现博弈策略等许多实际问题的求解。它比盲目的搜索效率高得多，又比专门针对特定问题的算法通用性强，是一种与问题无关的求解模式。5/17/202456遗传算法尤其适用于处理传统搜索方法难以解决的复杂和非线性问题遗传算法包括三个基本操作：选择、交叉和变异。1)选择选择运算又称为繁殖、再生或复制运算，用于生物界优胜劣汰的自然选择。它从第代种群中选择出优良的某些染色体，放入匹配池(缓冲区，match pool)，为染色体交叉和变异运算产生新种群做准备。适应度越高的染色体被选择的可能性越大，遗传基因在下一代种群中的分布就越广，其子孙在下一代出现的数量就越多。选择的方法有多种，较常用的是赌轮盘选择法，应用该方法个体被选中并遗传到下一代群体中的概率与该个体的适应度大小成正比。5/17/202457遗传算法包括三个基本操作：选择、交叉和变异。8/3/20232)交叉将群体内的各个个体随机搭配成对，对每一个个体，以某个概率交换它们之间的部分染色体，这样可以创造出新的个体。3)变异变异运算模拟生物在自然的遗传环境中由于各种偶然因素引起的基因突变，它以某一概率随机地改变遗传基因(表示染色体的符号串的某一位)的值。它随机地将染色体的某一个基因由1变成0，或由0变成1。若只有选择和交叉，而没有变异操作，则无法在初始基因组合以外的空间进行搜索，使进化过程在早期就陷入局部解而中止进化，从而使解的质量受到限制。通过变异操作，可确保种群中遗传基因类型的多样性，以便搜索能在尽可能大的空间中进行，避免丢失有用的遗传信息而陷入局部解，获得质量较高的优化解。5/17/2024582)交叉8/3/202358遗传算法的步骤如下：第1步：初始化。设置进化代数计数器，设置最大进化代数，随机产生初始种群，个体数目一定，每个个体表示为染色体的基因编码；第2步：个体评价。计算群体中个体的适应度，并判断是否符合优化准则，若符合，输出最佳个体及其代表的最优解，结束计算，否则转向第3步；第3步：选择运算。依据适应度选择再生个体，适应度高的个体被选中的概率高，适应度低的个体可能被淘汰；5/17/202459遗传算法的步骤如下：8/3/202359第4步：交叉运算。按照一定的交叉概率和交叉方法，生成新的个体；第5步：变异运算。按照一定的变异概率和变异方法，生成新的个体；第6步：终止条件判断。若，则，转到第2步；若，则以进化过程中所得到的具有最大适应度的个体作为最优解输出，终止计算。5/17/202460第4步：交叉运算。按照一定的交叉概率和交叉方法，生成新的个体4.8.2 遗传矢量量化遗传矢量量化其原理如下图所示：基于遗传算法的矢量量化器框图5/17/2024614.8.2 遗传矢量量化其原理如下图所示：基于遗传算法的矢遗传算法不能直接处理解空间中的解数据，必须通过编码将它们表示成遗传空间的基因型串结构数据。能否将GA应用于VQ码本的优化设计的关键在于能否将VQ码本的数据结构映射成能用GA进行处理的染色体结构。然后利用特定问题解空间的先验知识来缩小遗传算法的搜索空间，选择一种简便有效的编码方案。5/17/202462遗传算法不能直接处理解空间中的解数据，必须通过编码将它们表示具体做法是：让遗传空间的染色体的每一个基因直接对应VQ码本中的每一个码字矢量。这样染色体的长度（即基因个数）就等于码本的大小，这样一个VQ码本就对应一个个体。遗传算法直接对码本群体中的不同码本进行选择、交叉、变异等遗传操作。GAVQ算法中的每个个体均为VQ码本，因此：个体的适应度函数可以定义为训练矢量序列对该个体(即码本)的平均量化失真的倒数，即：5/17/202463具体做法是：让遗传空间的染色体的每一个基因直接对应VQ码本中为了能够对遗传操作的过程进行动态调节，并防止算法出现未成熟收敛，还可以对适应度函数进行动态定标。可以采用幂定标的方式，定标后的适应度函数为：式中，为遗传操作的代数，为取整函数。5/17/202464为了能够对遗传操作的过程进行动态调节，并防止算法出现未成熟收由于遗传算法的全局优化特性，因而如何选择初始码字不会影响优化结果，所以，初始码本集中的各个码本可以随机地产生，但采用适当的非随机方法产生初始集可以缩短遗传算法的优化时间。可以采用的方法是进行多次随机初始码字的标准LBG迭代，所得结果可作为初始码本。同时当LBG算法产生的个体数量未达到群体规模时，用交叉的方法产生新的个体来补足。5/17/202465由于遗传算法的全局优化特性，因而如何选择初始码字不会影响优化第4章矢量量化课件