语音合成的原理及分类

单击此处编辑母版标题样式,*,数字语音处理及,MATLAB,仿真 张雪英编著,51,数字语音处理及,MATLAB,仿真 张雪英编著,*,单击此处编辑母版标题样式,*,第九章,语音合成,9.1,概述,1,9.2,语音合成的原理及分类,9.3,共振峰合成法,3,9.4,线性预测参数合成法,4,9.5,基音同步叠加法,5,9.6,文语转换系统,6,2,1,9.1,概述,语音合成是人机语声通信的一个重要组成部分，解决让机器像人那样说话的问题。,最早的合成器是,1835,年由,W.von Kempelen,发明，经,Weston,改进的机械式会讲话的机器。而最早的电子式语音合成器也是,1939,年,Homer Dudley,发明的声码器，它不是简单的模拟人的生理过程，而是通过电子线路来实现基于语音产生的源,-,滤波器理论。,2,在语音合成技术发展中，早期研究主要是采用参数合成方法。,1990,年提出的基音同步叠加,PSOLA,方法，使基于时域波形拼接方法合成的语音音色和自然度大大提高。,我国的汉语语音合成研究从,80,年代初就基本上与国际研究同步发展。大致也经历了共振峰合成、,LPC,合成到应用,PSOLA,技术的过程。,3,9.2,语音合成的原理及分类,9.2.1,波形合成法,波形编码合成法是一种波形合成法，类似于语音编码中的波形编解码方法，该方法直接把要合成的语音的发音波形进行存储或者进行波形编码压缩后存储，合成重放时再解码组合输出。,特点：所需的存储容量太大，词汇量不能很大；相对简单，通常只能合成有限词汇的语音段。目前用于自动报时、报站和报警等。,4,另一种波形合成法是波形编辑合成，它把波形编辑技术用于语音合成，通过选取音库中采取自然语言的合成单元的波形，对这些波形进行编辑拼接后输出。它采用语音编码技术，存储适当的语音基元，合成时，经解码、波形编辑拼接、平滑处理等输出所需的短语、语句或段落。,5,9.2.2,参数合成法,参数合成法也称为分析合成法。,参数合成法有：发音器官参数合成和声道模型参数合成。,发音器官参数合成法：,是对人的发音过程直接进行模拟。它定义了唇、舌、声带的相关参数，如唇开口度、舌高度、舌位置、声带张力等，由发音参数估计声道截面积函数，进而计算声波。,缺点：合成语音的质量不理想。,6,参数合成方法的,优点,：音库一般较小，并且整个系统能适应的韵律特征的范围较宽，这类合成器比特率低，音质适中。,缺点,：算法复杂，参数多，并且在压缩比较大时，信息丢失亦大，合成出的语音总是不够自然、清晰。,为了改善音质，近几年发展了混合编码技术，以改善激励信号的质量。,7,9.2.3,规则合成法,规则合成方法：,一种高级的合成方法，通过语音学规则产生语音，可以合成无限词汇的语句。合成的词汇表不是事先确定，系统中存储的是最小的语音单位的声学参数，以及由音素组成音节、由音节组成词、由词组成句子和控制音调、轻重音等韵律的各种规则。,算法中，用于波形拼接和韵律控制的较有代表性的算法是基音同步叠加,PSOLA,技术。,8,9.2.3,规则合成法,基音同步叠加,PSOLA,技术,主要特点：,在语音波形片,断拼接之前，首先根据语义，用,PSOLA,算法对拼接单元的韵律特征进行调整，使合成波形既保持了原始语音基元的主要音段特征，又使拼接单元的韵律特征符合语义，从而获得很高的可懂度和自然度。,9,项目,波形合成方式,参数合成方式,按规则合成方式,语音,质量,可懂度,高,高,中,自然度,高,中,低,词汇量,小（,500,字以下）,大（数千字）,无限,合成方法,PCM,ADPCM,LPC,LSP,共振峰,LPC,LSP,共振峰,数码率,9.6,64kbit/s,2.4,9.6 kbit/s,50,75 kbit/s,1,兆比特可合成的语音长度,15,秒,100,秒,100,秒,7,分,无限,合成基元,音节、词组、句子,音节、词组、句子,音素、双音素、音节,装置,简单,比较复杂,复杂,硬件主体,存储器,存储器和处理器,处理器,表,9.1,三种语音合成方式的比较,10,9.3,共振峰合成法,共振峰合成理论中声道参数、声道谐振特性一直是研究的重点。,共振峰合成模型是把声道视为一个谐振腔，利用腔体的谐振特性，如共振峰频率及带宽，以此为参数构成一个共振峰滤波器。因为音色各异的语音有不同的共振峰模式，以每个共振峰频率及其宽带为参数，可以构成一个共振峰滤波器。,11,9.3,共振峰合成法,共振峰语音合成器的构成原理：,将多个共振峰滤波器组合起来模拟声道的传输特性，对激励声源发生的信号进行调制，经过辐射得到合成语音。,基于共振峰的理论有三种实用模型。,12,9.3.1,级联型共振峰模型,在该模型中，声道被认为是一组串联的二阶谐振器，共振峰滤波器首尾相接，其传递函数为各个共振峰的传递函数相乘的结果。,13,激励源,V,1,V,2,-,V,5,辐射模型,语音,G,一个五个极点的共振峰级联模型如下,图,9.2,共振峰级联模型,五个极点的共振峰级联模型传递函数为：,即：,式中，,G,为增益因子。,14,9.3.2,并联型共振峰模型,在并联型模型中，输入信号先分别进行幅度调节，再加到每一个共振峰滤波器上，然后将各路的输出叠加起来。,其传递函数为,:,15,上式可分解成以下部分分式之和：,其中,A,l,为各路的增益因子。,16,下图就是一个,M=5,的并联型共振峰模型。,激励源,+,辐射模型,语音,图,9.3,并联型共振峰模型,17,9.3.3,混合型共振峰模型,比较以上两种模型，对于大多数的元音，级联型合乎语音产生的声学理论，并且无需为每一个滤波器分设幅度调节；而对于大多数清擦音和塞音，并联型则比较合适，但是其幅度调节很复杂。于是考虑将两者结合在一起，提出了混和型共振峰模型。,18,混和型共振峰模型如下图所示：,图,9.4,混和型共振峰模型,19,对于共振峰合成器的激励，简单地将其分为浊音和清音两种类型是有缺陷的，为了得到高质量的合成语音，激励源应具备多种选择，以适应不同的发音情况。,混和型共振峰模型中激励源有三种类型：合成浊音语音时用周期冲激序列；合成清音语音时用伪随机噪声；合成浊擦音语音时用周期冲激调制的噪声。,20,共振峰合成技术弱点,：,（,1,）,由于它是建立在对声道的模拟上，因此，声道模型的不精确势必会影响其合成质量。,（,2,）实际工作中共振峰模型并不能表征影响语音自然度的其他许多细微的语音成分，从而影响了合成语音的自然度。,（,3,）共振峰合成器控制十分复杂，实现起来十分困难。,21,9.4,线性预测参数合成法,是一种“源滤波器”模型，由白噪声序列和周期脉冲序列构成的激励信号，经过选通、放大并通过时变数字滤波器，就可以再获得原语音信号。,图,9.5 LPC,语音合成器的框图,22,线性预测合成的形式有两种：一种是直接用预测器系数构成的递归型合成滤波器，用这种方法定期地改变激励参数,u,(,n,),和预测系数，就能合成出语音。它合成的语音样本由下式决定,:,其中：,a,i,为预测系数；,G,为模型增益；,u,(,n,),为激励；合成样本为,s,(,n,),；,p,为预测器阶数。,23,图,9.6,直接用预测器系数,a,i,构成的合成滤波器,24,另一种合成的形式是采用反射系数构成的格型合成滤波器。它的合成语音样本由下式决定,:,其中：,G,为模型增益；,u,(,n,),为激励；,k,i,为反射系数；,b,i,(,n,),为后向预测误差；,p,为预测器阶数。,25,LPC,语音合成和共振峰语音合成比较：,（,1,）,LPC,语音合成有比较简单和完全自动的分析步骤，合成器结构也比较简单，采用格形滤波器时，量化特性和稳定性都比较好，硬件实现容易；而共振峰合成需要较多的参数调整，合成器结构相对讲要复杂些。,（,2,）共振峰合成原理和实际发声原理联系紧密，它的模型控制参数对合成语音谱特性的影响比较直观。,LPC,合成中，控制,LPC,系数的变化轨迹十分有限。,26,（,3,）共振峰语音合成比较灵活，允许简单地变换以模仿不同人的发音，通过共振峰频率的移动，容易改变语声中和讲话人特征有关的部分；,LPC,合成较困难，只有将,LPC,的反射系数转变成极点的位置，才有可能作类似的修正。,（,4,）线性预测方法对谱包络谷点的模型要比峰点差得多，因此共振峰带宽的估计一般是不合适的；,共振峰合成方法中，共振峰的带宽还可以从离散傅里叶变换谱来估计。,27,（,5,）标准,LPC,的全极点模型，对具有零点谱特性的那些音，特别是鼻音，效果比较差；共振峰合成方法则可以采用反谐振器来直接模拟鼻音中最重要的频谱零点，使得合成语音音质得以提高。,（,6,）从总体上说，选择,LPC,语音合成还是共振峰合成，基于二个因素的折衷；,LPC,合成具有简单，可自动进行系数分析的优点；而比较复杂的共振峰合成可望产生较高质量的合成语音。,28,9.5,基音同步叠加法,基音同步叠加,PSOLA,算法核心思想：直接对存储于音库中的语音运用,PSOLA,算法进行拼接，从而整合成完整的语音。,该系统首先要在大量语音库中，选择最合适的语音单元用于拼接，并且在选择语音单元的过程中往往采用多种复杂的技术，最后在拼接时，使用,PSOLA,算法，根据上下文的要求，对其合成语音的韵律特征进行修改。,29,由于韵律修改所针对的侧面不同，,PSOLA,算法的实现目前有,3,种方式。分别为：,时域基音同步叠加,TD-PSOLA,线性预测基音同步叠加,LPC-PSOLA,频域基音同步叠加,FD-PSOLA,其中,TD-PSOLA,算法计算效率较高，已被广泛应用，是一种经典算法，这里只介绍,TD-PSOLA,算法原理。,30,9.5.1,基音同步叠加,PSOLA,算法原理,信号,x,(,n,),的短时傅里叶变换为：,其中,w,(,n,),是长度为,N,的窗序列，,Z,表示全体整数集合。,是变量,n,和,的二维时频函数，对于,n,的每个取值都对应有一个连续的频谱函数，显然存在较大的信息冗余，所以可以在时域每隔若干个（例如,R,个）样本取一个频谱函数来重构原信号,x,(,n,),。,31,令：,其傅里叶逆变换为：,然后将 叠接相加便可得到：,通常选,w,(,n,),是对称的窗函数，所以有,w,(,rR-n,),=w,(,n-rR,),32,可以证明，对于汉明窗来说，当时，无论,m,为何值都有：,所以,其中 为,w,(,n,),的傅里叶变换。上式说明，用叠接相加法重构的信号,y,(,n,),与原信号,x,(,n,),只相差一个常数因子。,33,这里采用原始信号谱与合成信号谱均方误差最小的叠接相加合成公式。定义两信号,x,(,n,),和,y,(,n,),之间谱距离测度：,上式可改写为：,(9-14),34,要求合成信号,y(n),满足谱距离最小，可以令：,解得：,窗函数,w,1,(,n,),和,w,2,(,n,),可以是两种不同的窗函数，长度也可以不相等。上式就是在谱均方误差最小意义下的时域基音同步叠接相加合成公式。,35,实际合成时,w,1,(,n,),和,w,2,(,n,),可以用完全相同的窗，分母可视为常数，而且可以加一个短时幅度因子 来调整短时能量，即：,基音同步叠接相加法优点：,良好的韵律调整能力的；,缺点：,基音频率修改过大时可能出现严重的谱包络失真。,36,9.5.2 基音同步叠加PSOLA算法实现步骤,概括起来说，用,PSOLA,算法实现语音合成时主要有三个步骤。分别为基音同步分析、基音同步修改和基音同步合成。下面介绍这三个步骤。,37,1.,基音同步分析,同步标记是与合成单元浊音段的基音保持同步的一系列位置点，用它们来准确反映各基音周期的起始位置。同步分析的功能主要是对语音合成单元进行同步标记设置。,PSOLA,技术中，短时信号的截取和叠加，时间长度的选择，均是依据同步标记进行的。对于浊音段有基音周期，而清音段信号则属于白噪声，所以这两种类型需要区别对待。,38,2.,基音同步修改,同步修改通过对合成单元同步标记的插入、删除来改变合成语音的时长；通过对合成单元标记间隔的增加、减小来改变合成语音的基频等。,若短时分析信号为,x,(,t,a,(,s,),n,),，短时合成信号为,x,(,t,s,(,s,),n,),，则有：,式中,t,a,(,s,),为分析基音标记，,t,s,(,s,),为合成基音标记。,39,3.,基音同步合成,基音同步合成是利用短时合成信号进行叠加合成。如果合成信号仅仅在时长上有变化，则增加或减少相应的短时合成信号；如果是基频上有变化，则首先将短时合成信号变换成符合要求的短时合成信号再进行合成。,40,图,9.7,时域基频同步合成语音,a),语音基频被降低,b),语音被延长但基频保持不变,41,9.6,文语转换系统,9.6.1,文语转换系统的组成,在文语转换系统中，必须事先对文本进行分析，根据上下文的关系来确定每个字发音的声调应如何变化，然后用这些声调变化参数去控制语音的合成。,42,图,9.8 TTS,系统基本框图,文本分析、韵律控制和语音合成这三个模块是文语转换系统的三个核心部分。其结构如下图所示：,9.6.1,文语转换系统的组成,43,1.,文本分析,工作过程包括：, 将输入的文本规范化，并处理用户可能的拼写错误，将出现的不规范或无法发音的字符过滤掉；, 分析文本中的词或短语的边界，确定文字的读音，同时分析文本中出现的数字、姓氏、特殊字符以及各种多音字的读音方式；, 确定发音时语气的变换及不同音的轻重方式。最终，将输入的文字转换成计算机能够处理的内部参数，便于后续模块进一步处理并生成相应的信息。,44,2.,韵律控制,任何人说话都有韵律特征，有不同的声调、语气、停顿方式，发音长短也各不相同，这些都属于韵律特征。而韵律参数则包括了能影响这些特征的声学参数，如：基频、音长、音强等。最终系统能够用来进行语音信号合成的具体韵律参数，还要靠韵律控制模块。,3.,语音合成,文语转换系统的合成语音模块一般采用波形拼接来合成语音的方法，其中最具代表性的是前面介绍过的基音同步叠加法,PSOLA,。,45,9.6.2,汉语按规则合成,通过语音学规则产生语音，对于不同的语种，其规则是完全不同的，这里仅讨论文语转换层次上的汉语按规则合成中有关韵律规则的几个基本问题。,46,1.,重音规则,汉语的重音，是指说话或朗读时读的比较重的音节或词语。,汉语重音分为：词重音和句重音两大类。,词重音：指词的某个音节可分为重轻等级。,音长特征是区分这个等级的主要标志，轻声的音长较短。另外一个重要的区分特征是声调域，轻声的声调域缩小，这就使轻声字所需的能量减少，但强度并不一定减弱。汉语重音的声学特征表现在音域加宽、音程加大，气流加强。,47,2.,转接与音渡规则,转接与音渡是音素序列转变成语音流时的动态变化规律。,在汉语发音中，存在两种基本的过渡，即辅音与元音组合和元音与元音组合。前者出现在声母和韵母的拼接过程中，称为“转接”；后者出现在复合韵母内部，称为“音渡”。,48,转接是指前一个辅音对其后元音共振峰的影响。同一元音的共振峰特性受不同辅音的影响会有很大的变化，表现出来的转接现象不同；反之，同一辅音对不同元音的影响也是不同的。共振峰的转接现象比较复杂，至今尚没找到普遍的规律。,49,3.,声调与变调规则,汉语是一种“声调语音”，在用汉语相互交谈中，人们不但凭不同的声母、韵母（或元音，辅音）来辨别字和词的意义，还需要从不同的声调来区别它们，这就是“声调语音”的特点。,汉语的声调具有辨义的功能，它和辅音、元音在语音的区别特征上同样重要。,50,4.,音长问题,音长也是语音的重要特征之一，对语音的可懂度、自然度都有一定的影响。汉语中音长主要体现在韵母的调型段长度上，调长和调型是密切相关的，通常认为，上声音节最长，阴平、阳平次之，去声最短。,除音长外，音节之间的间隙也对合成语音效果有一定的影响，适当的间隙会使语言听起来更为生动。,51,