语音信号的频域分析.ppt

国家“十一五”规划教材数字语音编码讲议同济大学电子与信息工程学院赵晓群编著机械工业出版社，2007年,第5章语音信号的频域分析5.1概述语音感知与语谱特性关系密切，人对语谱特性更敏感。幅频谱特性相似的两段语音，感知相似。语谱具有语言声学意义，反应了重要的语音特征；如共振峰频率、带宽等。进行语音频谱分析是认识和处理语音信号的重要方法。Fourier分析是有效手段，是语音的重要分析工具。语音是非平稳信号，源于发声器官的物理运动过程。在短时间段（如1030ms）内可认为是平稳的；用时间依赖处理方法分析处理。,短时Fourier分析（时间依赖Fourier变换）：用稳态分析处理非平稳信号的一种方法语音的频域分析：包括语音信号的频谱、功率谱、倒频谱、频谱包络等，常用频域分析方法：带通滤波器组法、Fourier变换法、同态分析、线性预测法等。本章：带通滤波器组法、Fourier变换法、频域基音检测、时-频表示,第5章语音信号的频域分析5.2基于滤波器组的频域分析最早的频谱分析：滤波器组来实现。特点：简单、实时性好、受外界影响小。常用模拟滤波器实现，也可用数字滤波器实现。宽带带通滤波器：平坦特性，可粗略求取语音频谱，分辨率较低，相当于短时处理时窄窗情况。窄带带通滤波器：频率分辨率较高，相当于短时处理时宽窗较宽的情况。图5.1：滤波器组法频谱分析原理图。,第5章语音信号的频域分析5.3短时Fourier变换(STFT)的定义和性质5.3.1STFT的定义语音序列是时变的。分段方法：加一个沿时间轴滑动的窗函数；通常窗的宽度有限；对应于不同的n值，窗处于不同位置；窗函数对语音信号的每个样本进行加权。图5.2：移动窗函数选取语音段的示意图图中使用的是非矩形窗，时刻n位于窗的中心,x(m)的短时Fourier变换（STFT）Xn(ej)的定义：式中，w(n)是窗函数。为位于n处的窗口观察到的窗选语音短段的Fourier变换；n取不同值时，取出不同的语音短段；Xn(ej)是频率和时间n的函数；有时-频性。要求：STFT存在，则对所有n值，一定绝对可和。因窗宽有限，或无限冲激响应窗函数，其有效宽度有限，故满足绝对可和。,根据STFT，恢复原语音信号x(m)的方法：式的逆变换为：若w(0)0，由上式得：准确地恢复原信号的唯一约束条件是w(0)0。,由STFT的谱Xn(ej)求解x(m)的Fourier变换X(ej)方法。假设x(m)和w(m)的Fourier变换都存在，即：因Xn(ej)是x(m)w(n-m)的Fourier变换，则Xn(ej)是X(ej)与ejnW(e-j)的卷积，即为使Xn(ej)准确代替X(ej)，移动窗的W(ej)应是冲激函数；即要求移动窗无限宽。,注意：由于语音是时变的，故其Fourier变换可能不存在。通常，窗函数是有限时宽，故窗选语音段可看成从无限长的基本性质延续不变的平稳信号中截取出来的；对于爆破音等暂态音，则可看成在窗外取值为零。若把X(ej)看成是基本性质在窗外延续不变或窗外取值为零的某个平稳信号的Fourier变换，则式就是有意义的。观点：STFT是平稳信号的Fourier变换经加窗平滑的结果。,5.3.2窗函数及窗宽对STFT的影响图5.3a：元音i的波形和短时频谱图。元音i的基音周期大约是13ms；短时频谱图有两种变化：快变化：周期性激励引起，基音频率的各次谐波；慢变化：声道共振特性引起，各共振峰的频率和带宽。两个频谱图间的差别：矩形窗时：谐波各峰较尖锐，谱图较破碎（类似于噪声），主瓣较窄（较高频率分辨率）；旁瓣较高，“泄漏”严重；Hamming窗时：短时频谱平滑些。短时谱分析，Hamming窗较普遍。,分析窗宽对短时频谱的影响：图5.4(a)：元音i的波形和短时频谱图。窗宽6.4ms，元音i的基音周期大约是13ms；窗选语音段长不到一个基音周期，丢失了基音周期的信息；频的快变化（谐波频率）消失。频的慢变化（较宽的峰）保留，是声道的共振特性。矩形窗比Hamming时，呈现较多的细致结构，由于矩形窗比Hamming窗具有更高的频率分辨率。,图5.3，5.4(b)：清辅音j短时频谱图。图5.3(b)：窗较长，频率分辨率高，许多快变化，反映了激励源的白噪声特性随机起伏。矩形窗时，快变化尤为突出。仍然看出声道滤波器的共振特性。,5.3.3结论长窗具有较高的频率分辨率，较低的时间分辨率；短窗具有较低的频率分辨率，较高的时间分辨率；窗宽的选择需折衷考虑；语音的基音周期值范围很大，窗宽选择应考虑该因素。矩形窗和Hamming窗的频谱特性都具有低通的性质。截止频率处都较尖锐，当通带较窄时（窗较宽），频谱能很好逼近短时语音谱。窗越宽逼近效果越好。,第5章语音信号的频域分析5.4STFT的实现STFT的定义：将窗函数的位置参数n看成是参变量，给定n，是连续变量的函数，为语音段的标准Fourier变换从不同角度来解释STFT，可得不同的实现方法。线性滤波的角度：为参变量，给定时，是n的函数。重写定义式：表明：卷积实现，w(n)与x(n)e-jn，序列x(n)e-jn通过冲激响应为w(n)的线性滤波器的输出此时，看成是固定值。图5.5：STFT的线性滤波实现,图5.5：STFT的线性滤波实现图5.6：图5.5方案的实数运算图5.6方案原理：设：则可计算：,令，代入式将用m表示，得：上式可用图5.7方案实现；图5.8：图5.7方案的实数运算(推导略),图5.8用实数实现图5.7的方框图,可推得：需要计算Xn(ej)时，用图5.8实现简单；需要计算an()、bn()时，用图5.6实现较简单。线性滤波实现STFT的主要优点：利用了成熟的线性滤波器的成果，实现方法非常简单。线性滤波分有限冲激响应的和无限冲激响应的、因果的和非因果的线性滤波方法，相应地，STFT或时变频谱分析也可分成有限窗宽和无限窗宽、因果窗和非因果窗等类型。,第5章语音信号的频域分析5.5短时Fourier谱的取样STFT谱：一维时变信号的二维时-频表示，n和的函数。采样定理：以不低于其最高频率两倍的取样频率取样，由样本准确恢复出原始信号。STFT的取样：是一个更复杂的问题。在时-频变量n和上同时进行，并保证不产生混叠失真。,5.5.1时域取样STFT线性滤波实现：图5.5示。w(n)：窄带低通滤波器，带宽为B。则：Xn(ej)的带宽也为B。在时域内，以2B速率对Xn(ej)取样，不产生混叠失真。Hamming窗时：w(n)的带宽B=2fs/N，(fs取样频率，N窗宽)时域内的取样频率2B=4fs/N。例：设N=100，fs=10kHz，则取样频率400Hz，语音信号每输入25个样本计算一次短时谱即可。多数实际窗函数，频带宽度B与fs/N成正比例，即：式中，k为比例常数。Hamming窗k=2，矩形窗k=1。在时域内，Xn(ej)的取样频率为：,5.5.2频域取样Xn(ej)：角频率的周期函数，周期2。在2范围内讨论频域取样问题。02内均匀取样L点，取样角频率k=2k/L，k=0,1,L-1讨论L取值：设w(n)的窗宽为N。由于Xn(ej)是x(m)w(n-m)的Fourier变换，则其Fourier逆变换的宽度也应当为N（有限时宽）。频域内，在L个角频率点上对Xn(ej)取样，根据样本恢复的信号应该是x(m)w(n-m)的周期延拓（周期2k/k=L）。使恢复的时域信号不产生混叠失真，要求：即：在02范围内，频域取样至少有N点。例：若窗宽N=100，在频域中Xn(ej)的取样100点。,5.5.3时域和频域的总取样因为：时域取样率：频域取样率：则：时频域总取样率：k值由窗函数确定，2k值称为“过取样比”。STFT：用数倍于信号波形取样率的速率取样，其代价有时是很值得的。同时在时、频域取样时，两个域的取样率可以相互调剂，提供了灵活性。欠取样：可用低于2kfs的取样率，虽发生混叠失真，但仍有方法准确恢复出原语音信号（见5.6.2节）。如：谱估计、基音和共振峰分析、数字谱图以及声码器等应用中。,第5章语音信号的频域分析5.6语音的短时合成技术语音的短时合成：从STFT样本中恢复原始语音信号。5.6.1滤波器组相加法当固定时，STFT的线性滤波解释有两种；Xn(ej)是序列x(n)e-jn通过冲激响应为w(n)的低通窄带滤波器产生（见图5.5）；Xn(ej)是序列x(n)通过冲激响应为w(n)ejn的窄带带通滤波器后，再用e-jn进行调制产生（见图5.7）。已有的采样结论：窗宽为N，频域内对Xn(ej)进行N点取样，不引起时域混叠失真。STFT可以用它在02范围内N个等间隔频率点k=2k/L，k=0,1,L-1上的样本来代替。,图5.9：语音的短时分析-合成系统图5.7的STFT的线性滤波实现方案为图5.9的左半部分；用N个滤波器（通道）：构成的滤波器组进行短时Fourier分析。N个带通滤波器的中心频率在02范围内是等间隔均匀分布，但也可以是非均匀分布。非均匀分布情况下，需满足关于=对称的条件。,短时Fourier分析的合成问题：从短时Fourier分析的结果恢复出原始语音信号x(n)的方法。是以k为中心的带通信号的低通表示。这说明，从恢复原始信号，应该将低通信号搬回到带通的位置去，即将零频率搬到上去。合成原理：第k个通道的输出应乘以，并将N个通道的结果相加就可得到原始信号x(n)。短时分析合成系统的输出（见图5.9）：从x(n)到y(n)的系统的冲激响应h(n)和其频率特性为：式中分别是h(n)和hk(n)的频率特性。,W(ej)分析窗w(n)的频率特性。由于，所以：W(ej)的N个等间隔频率点上取样为，的逆变换为时间序列w(n)，是周期为N的延拓，即：由于，w(n)是宽度为N的有限时宽序列，W(ej)的频域取样点在02范围内有N个，所以，上式的逆变换得到的周期序列没有重叠失真，其中的一个周期将准确等于w(n)。令n=0，计算w(0)为：,将频率点k换成另外N个频率点-k，代入上页式，得：由式，考虑上式关系，得：可见：联系x(n)和y(n)的带通滤波器组的总的冲激响应所对应的频率特性是一个取决于窗函数在n=0时的值，而与窗函数的形式无关的一个常量。由此可以得到相应的冲激响应为：于是，短时分析合成系统的输出为：综上，短时分析合成系统的带通滤波器组的约束条件为：,5.6.2叠接相加法x(n)的短时谱为Xn(ej)，是x(m)w(n-m)的Fourier变换；对Xn(ej)求离散Fourier逆变换，可得x(n)。问题是，计算数据只有，而不是Xn(ej)。公式推导如下：假设窗w(n-m)每次移动R个取样间隔，即n=rR,r=,0,1,。于是可相继恢复出位于n=0,R,2R,.处各窗口内的各N个取样信号值，这些样本可表示为：是窗口位于n=rR处的的值。将各窗口内恢复出来的信号样本中，相互重叠的样本相加，得：,如果w(m)是有限窗宽，且在时域内满足取样定理，（矩形窗RN/2，Hamming窗RN/4）可以证明对于任何m值，恒有于是，有：可见，用叠接相加法的主要运算是逆离散Fourier变换。图5.10：该算法流程图。图5.11：前5段语音叠接相加的情况。,加Hamming窗取R=N/4,注：滤波器组相加法基于短时频谱的线性滤波解释导出；叠接相加法基于短时频谱的标准Fourier变换解释导；两种算法恰成一种对偶关系。,第5章语音信号的频域分析5.7基于FFT的短时Fourier分析x(m)的短时Fourier变换Xn(ej)经时频采样后，为离散信号，经适当处理，可以用快速FFT完成计算。推导过程（略）。计算步骤：由x(m)构造序列xn(m)=x(n+m)w(-m)；根据m=Lr+q,(q=0,1,L-1;r=0,1,N/L-1)，将xn(m)分成长为L的N/L个短段，并将所有短段各对应元素相加，得到长为L的序列un(q)；将un(q)循环移位n，得到un(m-nL),(m=0,1,L)；用FFT计算以un(m-nL)的L点DFT，得到,第5章语音信号的频域分析5.8频域基音检测频域基音检测：计算复杂性较高。目前DSP技术，计算复杂性变得不太重要。已用于编码标准中，如海事卫星系统INMARSAT-M。5.8.1谐波峰值基音检测法频域基音检测方法：抽取基频上的频谱峰值。要求：语音中存在第一谐波分量；但预处理等可能丢失信息，更实际的方法：检测所有的谐波峰值，使用这些谐波的公约数或者相邻谐波的距离来测量基频。可以使用梳状滤波器完成匹配工作。,梳状滤波器的特性：式中，C(,0)和语音的频谱相关。相关输出是加权的梳状峰值之和：式中,m是所考虑的最大频率。若0等于基频，则梳状响应能够匹配谐波的峰值，会得到最大的输出。图5.13：谐波峰值的匹配方法。,5.8.2频谱相似度基音检测法比较原始频谱和重构频谱的相似性，从而确定基音周期。使用方均频谱误差的相似性误差评价准则。误差函数为：式中，为候选的基音周期；2M+1为分析窗的大小；Xw()为窗选语音的原始频谱，为依赖于基音的重构频谱W()为窗函数的Fourier变换，有关表达式为：,1988年，该方法用于Griffin建议的多带激励声码器标准中。图5.14：典型的具有正确基音的原始频谱和合成频谱。,第5章语音信号的频域分析5.9语音信号的时-频表示（略）5.9.1传统Fourier变换的缺点及时-频分析思想(1)Fourier变换的时间分辨率为零(2)Fourier变换基于信号平稳的假设(3)Fourier变换在全频域范围内分辨率相同5.9.2信号的时-频表示(1)线性时-频表示(2)二次时-频表示(3)其他时-频表示：Cohen-Posch类分布、L-Wigner分布5.9.3不确定性原理有效时域半径和有效频域半径的约束关系：5.9.4Gabor变换5.9.5小波变换及在语音中的应用,谢谢!,