语音信号的频域分析课件

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,第5章语音信号的频域分析,5.2基于滤波器组的频域分析,5.1概述,5.4STFT 的实现,5.3短时 Fourier 变换(STFT)的定义和性质,5.5短时 Fourier 谱的取样,5.6语音的短时合成技术,5.7基于 FFT 的短时 Fourier 分析,5.8频域基音检测,5.9语音信号的时-频表示,（略）,第5章语音信号的频域分析,5.1,概述,语音,感知,与,语谱,特性关系密切，人对语谱特性更,敏感,。,幅频谱特性相似的,两段语音，,感知相似,。,语谱具有,语言声学,意义，反应了重要的,语音特征,；,如,共振峰频率,、,带宽,等。,进行语音,频谱分析,是,认识,和,处理,语音信号的,重要方法,。,Fourier,分析,是有效手段，是语音的,重要分析工具,。,语音是,非平稳,信号，源于,发声器官,的,物理运动,过程。,在,短时间,段（如,10 30,ms,）内可认为是,平稳,的；,用,时间依赖处理方法,分析处理。,第5章,语音信号的频域分析,5.1,概述,同济大学电子与信息工程学院 -,2,-赵晓群,教授,短时,Fourier,分析,（,时间依赖,Fourier,变换,）：,用,稳态分析,处理,非平稳信号,的一种方法,语音的,频域分析,：包括语音信号的,频谱,、,功率谱,、,倒频谱、,频谱包络,等，,常用,频域分析,方法：,带通滤波器组法,、,Fourier,变换法,、,同态分析,、,线性预测法,等。,本章：,带通滤波器组法,、,Fourier,变换法,、,频域基音检测,、,时,-,频表示,同济大学电子与信息工程学院 -,3,-赵晓群,教授,第5章,语音信号的频域分析,5.1,概述,第5章语音信号的频域分析,5.2,基于滤波器组的频域分析,最早的频谱分析：,滤波器组,来实现。,特点：,简单,、,实时性,好、受,外界影响小,。,常用,模拟滤波器,实现，也可用,数字滤波器,实现。,宽带带通滤波器：,平坦特性，可粗略求取语音频谱，分辨率,较低,，相当于短时处理时,窄窗,情况。,窄带带通滤波器：,频率分辨率,较高,，,相当于短时处理时,宽窗,较宽的情况。,图,5.1,：,滤波器组法,频谱分析原理图。,图5.1滤波器组法频率分析原理图,f,1,f,2,f,n,x,1,(,t,),x,(,t,),x,2,(,t,),x,n,(,t,),同济大学电子与信息工程学院 -,4,-赵晓群,教授,第5章,语音信号的频域分析,5.2,基于滤波器组的频域分析,第5章语音信号的频域分析,5.3,短时,Fourier,变换,(,STFT,),的定义和性质,STFT,的定义,语音序列是,时变的,。,分段方法：,加一个沿时间轴滑动的,窗函数,；,通常窗的,宽度有限,；,对应于,不同的,n,值,，窗处于,不同位置,；,窗函数对,语音信号,的每个样本进行,加权,。,图,5.2,：,移动,窗函数,选取语音段的示意图,图中使用的是,非矩形窗,，,时刻,n,位于,窗的中心,同济大学电子与信息工程学院 -,5,-赵晓群,教授,图5.2用移动窗选取语音段示意图,第5章,语音信号的频域分析,5.3,短时 Fourier 变换(STFT)的定义和性质,x,(,m,),的,短时,Fourier,变换,（,STFT,）,X,n,(e,j,),的定义：,式中，,w,(,n,),是,窗函数,。,为位于,n,处的窗口观察到的,窗选语音短段,的,Fourier,变换；,n,取,不同值,时，取出,不同的,语音短段；,X,n,(e,j,),是,频率,和,时间,n,的函数；有,时,-,频性,。,要求：,STFT,存在,，则对所有,n,值,，一定,绝对可和,。,因,窗宽有限,，或无限冲激响应窗函数，其,有效宽度有限,，,故,满足,绝对可和。,同济大学电子与信息工程学院 -,6,-赵晓群,教授,第5章,语音信号的频域分析,5.3,短时 Fourier 变换(STFT)的定义和性质,根据,STFT,，,恢复,原语音信号,x,(,m,),的,方法,：,式,的,逆变换,为：,若,w,(0)0,，由上式得：,准确地恢复原信号的,唯一约束条件,是,w,(0)0,。,同济大学电子与信息工程学院 -,7,-赵晓群,教授,第5章,语音信号的频域分析,5.3,短时 Fourier 变换(STFT)的定义和性质,由,STFT,的谱,X,n,(e,j,),求解,x,(,m,),的,Fourier,变换,X,(e,j,),方法,。,假设,x,(,m,),和,w,(,m,),的,Fourier,变换都存在,，即：,因,X,n,(e,j,),是,x,(,m,),w,(,n,-,m,),的,Fourier,变换，,则,X,n,(e,j,),是,X,(e,j,),与,e,j,n,W,(e,-j,),的,卷积,，即,为使,X,n,(e,j,),准确代替,X,(e,j,),，移动窗的,W,(e,j,),应是,冲激函数,；即要求移动,窗无限宽,。,同济大学电子与信息工程学院 -,8,-赵晓群,教授,第5章,语音信号的频域分析,5.3,短时 Fourier 变换(STFT)的定义和性质,注意：,由于语音是,时变,的，故其,Fourier,变换可能,不存在,。,通常，,窗函数是,有限时宽,，故,窗选语音段,可看成从无限长的基本性质延续不变的,平稳信号,中截取出来的；,对于,爆破音,等暂态音，则可看成在,窗外,取值为,零,。,若把,X,(e,j,),看成是,基本性质,在窗外,延续不变,或窗外,取值为零,的某个平稳信号的,Fourier,变换，则式,就是,有意义,的。,观点：,STFT,是,平稳信号,的,Fourier,变换经,加窗平滑,的结果。,同济大学电子与信息工程学院 -,9,-赵晓群,教授,第5章,语音信号的频域分析,5.3,短时 Fourier 变换(STFT)的定义和性质,窗函数及窗宽对STFT的影响,图,5.3a,：,元音,i,的,波形,和,短时频谱图,。,元音,i,的,基音周期,大约是,13,ms,；,短时频谱图有,两种,变化：,快变化：,周期性,激励引起，,基音频率的各次,谐波,；,慢变化：,声道共振,特性引起，,各,共振峰,的,频率,和,带宽,。,两个频谱图间的,差别,：,矩形窗,时：谐波各峰,较尖锐,，,谱图,较破碎,（类似于噪声），,主瓣较窄,（较高频率分辨率）；,旁瓣较高,，,“泄漏”,严重；,Hamming,窗,时：短时频谱,平滑些,。,短时谱分析，,Hamming,窗较普遍,。,同济大学电子与信息工程学院 -,10,-赵晓群,教授,第5章,语音信号的频域分析,5.3,短时 Fourier 变换(STFT)的定义和性质,图5.3a元音i的波形和短时频谱图,(10 kHz,取样,，,窗长,256),分析窗宽对短时频谱的影响：,图,5.4(a),：,元音,i,的,波形,和,短时频谱图,。,窗宽,6.4,ms,，,元音,i,的,基音周期,大约是,13,ms,；,窗选语音段,长,不到,一个基音周期，,丢失了,基音周期的信息；,频的,快变化,（谐波频率）,消失,。,频的,慢变化,（较宽的峰）,保留,，,是声道的,共振特性,。,矩形窗比,Hamming,时，,呈现较多的细致结构，,由于矩形窗比,Hamming,窗,具有更高的频率分辨率。,同济大学电子与信息工程学院 -,11,-赵晓群,教授,第5章,语音信号的频域分析,5.3,短时 Fourier 变换(STFT)的定义和性质,图5.4a元音i的波形和短时频谱图,(10 kHz,取样,，窗长64),图,5.3,，,5.4(b),：,清辅音,j,短时频谱图,。,图,5.3(b),：,窗,较长,，频率,分辨率高,，许多,快变化,，,反映了,激励源,的,白噪声特性,随机起伏。,矩形窗,时，快变化尤为,突出,。,仍然看出,声道,滤波器的,共振特性,。,同济大学电子与信息工程学院 -,12,-赵晓群,教授,第5章,语音信号的频域分析,5.3,短时 Fourier 变换(STFT)的定义和性质,图5.3b清音j的波形和短时频谱图,(10 kHz,取样,，,窗长,256),图5.4b清音j的波形和短时频谱图,(,10 kHz,取样,，,窗长,64),结论,长窗,具有,较高,的,频率分辨率,，,较低,的,时间分辨率,；,短窗,具有,较低,的,频率分辨率,，,较高,的,时间分辨率,；,窗宽的选择需,折衷,考虑；,语音的基音周期值,范围很大,，窗宽选择,应考虑,该因素。,矩形窗和,Hamming,窗的频谱特性都具有,低通的性质,。,截止频率处都较尖锐，,当通带较窄时（窗较宽），频谱能很好逼近短时语音谱。窗越宽逼近效果越好。,同济大学电子与信息工程学院 -,13,-赵晓群,教授,第5章,语音信号的频域分析,5.3,短时 Fourier 变换(STFT)的定义和性质,第5章语音信号的频域分析,5.4,STFT,的实现,STFT,的定义：,将窗函数的,位置参数,n,看成是,参变量,，,给定,n,，是,连续变量,的函数，为语音段的,标准,Fourier,变换,从,不同角度,来解释,STFT,，可得,不同,的实现方法。,线性滤波的角度：,为,参变量,，给定,时，是,n,的,函数,。,重写定义式：,表明：,卷积,实现，,w,(,n,),与,x,(,n,)e,-j,n,，,序列,x,(,n,)e,-j,n,通过,冲激响应,为,w,(,n,),的,线性滤波器,的输出,此时，,看成是,固定值,。,图,5.5,：,STFT,的,线性滤波,实现,同济大学电子与信息工程学院 -,14,-赵晓群,教授,第5章,语音信号的频域分析,5.4,STFT 的实现,图5.5STFT的线性滤波实现,w,(,n,),x,(,n,),e,-j,n,X,n,(e,j,n,),图,5.5,：,STFT,的,线性滤波,实现,图,5.6,：,图,5.5,方案的,实数运算,图,5.6,方案原理,：,设,：,则可计算：,同济大学电子与信息工程学院 -,15,-赵晓群,教授,第5章,语音信号的频域分析,5.4,STFT 的实现,图5.5,STFT,的线性滤波实现,w,(,n,),x,(,n,),e,-j,n,X,n,(e,j,),图,5.6,STFT,分析用线性滤波实现,cos,n,a,n,(,),x,(,n,),b,n,(,),sin,n,w,(,n,),w,(,n,),令 ，代入式,将 用,m,表示，得：,上式可用,图,5.7,方案实现；,图,5.8,：,图,5.7,方案的,实数运算,(,推导略,),同济大学电子与信息工程学院 -,16,-赵晓群,教授,第5章,语音信号的频域分析,5.4,STFT 的实现,图5.7,STFT,分析线性滤器的另一种形式,w,(,n,)e,j,n,x,(,n,),e,-j,n,X,n,(e,j,),图,5.8用实数实现图5.7的方框图,x,(,n,)sin,n,w,(,n,)sin,n,w,(,n,)cos,n,cos,n,cos,n,a,n,(,),b,n,(,),可推得：,需要计算,X,n,(e,j,),时，用图,5.8,实现简单；,需要计算,a,n,(,),、,b,n,(,),时，用图,5.6,实现较简单。,线性滤波实现,STFT,的,主要优点,：,利用了,成熟,的线性滤波器的,成果,，实现方法,非常简单,。,线性滤波分,有限冲激响应,的和,无限冲激响应,的、,因果,的和,非因果,的线性滤波方法，,相应地，,STFT,或时变频谱分析也可分成,有限窗宽,和,无限窗宽,、,因果窗,和,非因果窗,等类型。,同济大学电子与信息工程学院 -,17,-赵晓群,教授,第5章,语音信号的频域分析,5.4,STFT 的实现,第5章语音信号的频域分析,5.5,短时,Fourier,谱的取样,STFT,谱：,一维时变,信号的,二维时,-,频,表示，,n,和,的,函数,。,采样定理：,以,不低于,其最高频率,两倍,的,