第三讲 语音合成概述

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,*,第三讲 语音合成概述,背景,目标,根本问题,技术历程,典型系统,第三讲 语音合成概述,背景,目标,根本问题,技术历程,典型系统,背景,计算机的普及,人机自然语言交互,语音合成在人机交互系统中的作用,语音合成的其它应用,Speech Recognition,Natural Language Understanding,Dialog Manager,Speech Synthesis,Natural Language Generation,Information,Database,Speech In,Speech Out,第三讲 语音合成概述,背景,目标,根本问题,技术历程,典型系统,目标,“让计算机像人一样说话,从文字到语音TTSText-To-Speech,从概念到语音CTSConcept-To-Speech,从意念到语音ITSIntention-To-Speech,现阶段-TTS,前瞻性-CTS,等待时机-ITS,第三讲 语音合成概述,背景,目标,根本问题,技术历程,典型系统,根本问题,原因,从语音到文字的信息缺失,从文字到语音TTS,从文字到发音描述,发什么音,如何发音,从发音描述到语音合成,第三讲 语音合成概述,背景,目标,根本问题,技术历程,典型系统,技术历程,1937，Voder，Bell Lab.，H.Dudly,1962，级联共振峰，KTH，G.Fant,1970s，混合共振峰，MIT，D.Klatt,1986，PSOLA，F.Charpentier,2000s，Unit-selection，N.Campbell&A.Black,1970s,1980s,1990s,2000s,Quality,Time,Format,PSOLA,Unit-selection:,Segment-oriented,Unit-selection:,Prosody-oriented,Excellent:Human-liked,Fair:acceptable,Bad:unacceptable,技术历程,1937，Voder，Bell Lab.，H.Dudly,1962，级联共振峰，KTH，G.Fant,1970s，混合共振峰，MIT，D.Klatt,1986，PSOLA，F.Charpentier,2000s，Unit-selection，N.Campbell&A.Black,1970s,1980s,1990s,2000s,Quality,Time,Format,PSOLA,Unit-selection:,Segment-oriented,Unit-selection:,Prosody-oriented,Excellent:Human-liked,Fair:acceptable,Bad:unacceptable,音色，孤立音段,音色，孤立音段,音色，孤立词,音色、韵律，语句,韵律，语句,第三讲 语音合成概述,背景,目标,根本问题,技术历程,典型系统,典型系统,基于单元挑选的TTS系统构成韵律导向,两个模块,前端：文本处理，从文字到发音描述,后端：语音处理，从发音描述到语音合成,一个接口，发音描述,数据库，合成单元,Parser,Prosodic Event Predictor,Phonetizer,Prosodic,&,Phonemic,context,Prosodic Acoustics Predictor,Segment,Acoustics,Predictor,Unit,Selection,Speech Synthesizer,Text Normalization,Corpora:,speech,phonetic alignment,prosodic parameter,Dictionary:,Lexicon,Rules,Homograph,Input text,Interface,Output speech,Frontend,Backend,典型系统,例：,北京交通大学成立于1896年,。,Text Normalization:北京交通大学成立于1896年,Parser,Prosodic Event Predictor,Phonetizer,Prosodic,&,Phonemic,context,Prosodic Acoustics Predictor,Segment,Acoustics,Predictor,Unit,Selection,Speech Synthesizer,Text Normalization,Corpora:,speech,phonetic alignment,prosodic parameter,Dictionary:,Lexicon,Rules,Homograph,Input text,Interface,Output speech,Frontend,Backend,典型系统,例：,北京交通大学成立于1896年,。,Text Normalization:北京交通大学成立于1896年,Parser:北京(npr)交通(ng)大学(ng)成立(vgo)于(pg)1896年(t),Parser,Prosodic Event Predictor,Phonetizer,Prosodic,&,Phonemic,context,Prosodic Acoustics Predictor,Segment,Acoustics,Predictor,Unit,Selection,Speech Synthesizer,Text Normalization,Corpora:,speech,phonetic alignment,prosodic parameter,Dictionary:,Lexicon,Rules,Homograph,Input text,Interface,Output speech,Frontend,Backend,POS(Part Of Speech),典型系统,例：,北京交通大学成立于1896年,。,Text Normalization:北京交通大学成立于1896年,Parser:北京(npr)交通(ng)大学(ng)成立(vgo)于(pg)1896年(t),Prosodic Event:,OutPut PWord Layer:北京 ng 交通 ng 大学 ng 成立于 vg_pg 一八九六年 t,OutPut PPhrase Layer:#北京交通大学#成立于#一八九六年,OutPut IPhrase Layer:#北京交通大学成立于一八九六年,OutPut Sentence Layer:#北京交通大学成立于一八九六年,Parser,Prosodic Event Predictor,Phonetizer,Prosodic,&,Phonemic,context,Prosodic Acoustics Predictor,Segment,Acoustics,Predictor,Unit,Selection,Speech Synthesizer,Text Normalization,Corpora:,speech,phonetic alignment,prosodic parameter,Dictionary:,Lexicon,Rules,Homograph,Input text,Interface,Output speech,Frontend,Backend,典型系统,例：,北京交通大学成立于1896年,。,Text Normalization:北京交通大学成立于1896年,Parser:北京(npr)交通(ng)大学(ng)成立(vgo)于(pg)1896年(t),Prosodic Event:,OutPut PWord Layer:北京 ng 交通 ng 大学 ng 成立于 vg_pg 一八九六年 t,Phonetizer:,北 bei3 京 jing1(BL:北京)交 jiao1(BL:交通)通 tong1(BL:交通)大 da4(BL:大学)学 xue2(BL:大学)成 cheng2(BL:成立)立 li4(BL:成立)于 yu2(BL:于)一 yi1(BL:一八九六年)八 ba1(BL:一八九六年)九 jiu3(BL:一八九六年)六 liu4(BL:一八九六年)年 nian2(BL:一八九六年),Parser,Prosodic Event Predictor,Phonetizer,Prosodic,&,Phonemic,context,Prosodic Acoustics Predictor,Segment,Acoustics,Predictor,Unit,Selection,Speech Synthesizer,Text Normalization,Corpora:,speech,phonetic alignment,prosodic parameter,Dictionary:,Lexicon,Rules,Homograph,Input text,Interface,Output speech,Frontend,Backend,典型系统,例：,北京交通大学成立于1896年,。,Interface:,2 1 2%0 0 2%0 ng 2%0 ng 2%0 ng 2%0 0 0 2%0 vg_pg 2%0 0 0 2%0 t 2%0 0 1 2,Parser,Prosodic Event Predictor,Phonetizer,Prosodic,&,Phonemic,context,Prosodic Acoustics Predictor,Segment,Acoustics,Predictor,Unit,Selection,Speech Synthesizer,Text Normalization,Corpora:,speech,phonetic alignment,prosodic parameter,Dictionary:,Lexicon,Rules,Homograph,Input text,Interface,Output speech,Frontend,Backend,典型系统,例：,北京交通大学成立于1896年,。,Prosodic Acoustic Predictor:,GMM(bei3)GMM(jing1)GMM(jiao1)GMM(tong1)GMM(da4)GMM(xue2)GMM(cheng2)GMM(li4)GMM(yu2)GMM(yi1)GMM(ba1)GMM(jiu3)GMM(liu4)GMM(nian4),Segment Acoustic Predictor:,occ(bei3)occ(jing1)occ(jiao1)occ(tong1)occ(da4)occ(xue2)occ(cheng2)occ(li4)occ(yu2)occ(yi1)occ(ba1)occ(jiu3)occ(liu4)occ(nian4),Parser,Prosodic Event Predictor,Phonetizer,Prosodic,&,Phonemic,context,Prosodic Acoustics Predictor,Segment,Acoustics,Predictor,Unit,Selection,Speech Synthesizer,Text Normalization,Corpora:,speech,phonetic alignment,prosodic parameter,Dictionary:,Lexicon,Rules,Homograph,Input text,Interface,Output speech,Frontend,Backend,典型系统,例：,北京交通大学成立于1896年,。,Prosodic Acoustic Predictor:,GMM(bei3)G