资源描述
,按一下以編輯母片標題樣式,按一下以編輯母片副標題樣式,*,按一下以編輯母片標題樣式,按一下以編輯母片,第二層,第三層,第四層,第五層,*,讓電腦聽話,報告組別；電腦組,小組成員：林育丞、許耕敏、施智翔、吳泰羽,指導老師：郭人豪老師,讓電腦聽話報告組別；電腦組,1,報告大綱,導論,研究目的,名詞解釋及相關知識探討,研究過程,研究結論,報告大綱導論,2,導論,語音辨識的應用範圍很廣，例如語音輸入與聲紋之身份辨識即是，語音輸入的最大好處是它非常合乎人的自然行為習慣，對於不習慣使用鍵盤輸入電腦資料的人，特別是中文輸入，有了語音輸入的方法之後，就不必辛苦地學習各種中文輸入法來迎合電腦。,導論 語音辨識的應用範圍很廣，例如語音輸入與聲紋之身份辨識即,3,研究目的,研讀相關資料，使我們能了解電腦如何儲存聲音及辨識聲音，並透過實際操作了解語音辨識的過程。,研究目的 研讀相關資料，使我們能了解電腦如何儲存聲音及辨識聲,4,名詞解釋及相關知識探討,聲音的本質,聲音數位化,取樣頻率,解析度,消除靜音,音框,語音辨識的原理,語音辨識的方法,名詞解釋及相關知識探討 聲音的本質,5,聲音的本質,聲音，是泛指任何我們耳朵所能聽見的聲音。,任何聲音都以波的形式表示，而聲音訊號的波形，,可在不同的時間區段上找到不同的週期,。,非固定式訊號。,聲音的本質聲音，是泛指任何我們耳朵所能聽見的聲音。,6,數位化,透過麥克風我們把聲音傳到電腦裡面，這中間的過程稱為數位化。,原來連續的訊號，經過數位化的處理，變成一種不連續的訊號。,數位化透過麥克風我們把聲音傳到電腦裡面，這中間的過程稱為數位,7,取樣頻率,定義：,每分鐘取樣的次數,。,取樣的頻率越高，所需的儲存記憶體就越大，這會導致辨識的時間過長，因此本研究中取樣皆以8000HZ(每分鐘8000次)為基準，這樣就不會花太多時間在辨識也不會讓聲音失真。,取樣頻率定義：每分鐘取樣的次數。,8,取樣失真,所得的聲音取樣值便不能代表原來訊號。,取樣頻率需大於兩倍聲音頻率,，否則會造成取樣失真。,對語音訊號取樣時，語音最高頻率不會超過4000Hz，所以取樣頻率定在 8000Hz以上，就保證取樣失真不發生。,取樣失真所得的聲音取樣值便不能代表原來訊號。取樣頻率需大於兩,9,解析度,定義：每個取樣點用多少bit(位元，一個0或1稱為1個bit。)來表示聲音。,經過電腦取樣後，聲音檔案就出現了頻率(HZ)及(BIT)兩個單位,HZ=1分鐘取樣的次數,BIT=每次取樣所用的值大小,解析度定義：每個取樣點用多少bit(位元，一個0或1稱為1個,10,消除靜音,為何要消除靜音?,如何消除靜音?,能量量測法:,1.找出所有音框能量總和的平均值，設定為門檻值,2.以門檻值來區分有聲或無聲區域,3.刪除無聲區域,消除靜音為何要消除靜音?,11,音框,音框是語音處理的最小單位,大小沒有一定標準，使用者自訂,一個音框可以計算出一個語音特徵值,音框音框是語音處理的最小單位,12,為何要取音,框（frame）,處理語音訊號這種不固定週期式的訊號時，最好先將其分段處理，把每一段當成一個固定的訊號，而這一小段部份就被稱為“音框”。,為何要取音框（frame）處理語音訊號這種不固定週期式的訊號,13,如何取音框,如何取音框,14,語音辨識的原理,步驟如下：,類比到數位的轉換,聲音樣本與測試樣本進行比對工作,找出最相似的語音,輸出結果,語音辨識的原理步驟如下：,15,語音辨識的方法,相似度比較法,測試樣本,參照樣本集,輸入,比對,找出最相似,辨識結果,範例：,輸入測試樣本；2,參照樣本集：1、2、320,比對後找出最相似結果:2,範例：,輸入測試樣本；a,參照樣本集：1、2、320,比對後找出最相似結果:2,語音辨識的方法相似度比較法 測試樣本參照樣本集輸入找出最相似,16,如何計算相似度,設待測音框為,a1、a2、a3an,，(n=音框數),設參照音框為,b1、b2、b3bn,，(n=音框數),語音相似度=,a1與b1的相似度+a2與b2的相似度+an與bn的相似度,音框相似度的計算則需使用到多變數的高思機率密度函數，因其中數學理論過於深奧，超過國中生所能理解的程度，所以我們僅使用不予以探討,如何計算相似度設待測音框為a1、a2、a3an，(n=音,17,研究過程,提出問題,提出假設及驗證假設的方法,錄製聲音,語音處理,去除靜音,調整聲音格式(8000HZ、16bit及單聲道),訓練對照組，取得聲音特徵值,進行待測聲音與對照組的語音辨識,數據分析及驗證假設,研究過程 提出問題,18,問題與假,設,如何判斷電腦辨別聲音成功？,假設存在有一門檻值來判別是否為辨識成功,是否能正確辨別同性別及不同性別的聲音(以正常語調)?,假設同性別聲音的相似度會較高,是否能正確辨別不同年紀(不分男女)的聲音?,假設同年齡的相似度會較高,問題與假設如何判斷電腦辨別聲音成功？,19,錄製聲音名單,陳品軒,徐靖洋,鍾博全,馮育瑋,王俊立,15歲男,15歲男,15歲男,15歲男,15歲男,董子瑜,呂孟錡,柳科竹,黃冠維,吳俊毅,15歲男,15歲男,15歲男,15歲男,15歲男,吳家成,歐光哲,吳旻軒,李采臻,王思亭,15歲男,15歲男,15歲男,15歲女,15歲女,李穎俐,吳家瑩,盧奐蓁,伍曼妮,黃婉婷,15歲女,15歲女,15歲女,15歲女,15歲女,屈于翔,顏大凱,郭人豪,林勁曄,黃俞菁,15歲女,30歲男,30歲男,30歲男,30歲女,朱芳儀,王佳慧,張雲雄,李龍輝,翁秋蘭,30歲女,30歲女,50歲男,50歲男,40歲女,張帶金,40歲女,錄製聲音名單陳品軒徐靖洋鍾博全馮育瑋王俊立15歲男15歲男1,20,如何判斷電腦辨別聲音成功？,假設：,訂定辨別的語音(NO)後,錄製足夠的聲音樣本,進行語音處理(靜音及儲存格式),取得判別成功門檻,相似度超過門檻值則代表此聲音與對照聲音同，反之則否,如何判斷電腦辨別聲音成功？假設：,21,對照組聲音名單,姓名,陳品軒,徐靖洋,鍾博全,李采臻,王思亭,李穎俐,聲音編號,15-1-1,15-1-2,15-1-3,15-2-1,15-2-2,15-2-3,姓名,顏大凱,郭人豪,林勁曄,黃俞菁,朱芳儀,王佳慧,聲音編號,30-1-1,30-1-2,30-1-3,30-2-1,30-2-2,30-2-3,姓名,張雲雄,李龍輝,翁秋蘭,張帶金,聲音編號,50-1-1,50-1-2,50-2-1,50-2-2,編碼方法：年齡-性別-編號,對照組聲音名單姓名陳品軒徐靖洋鍾博全李采臻王思亭李穎俐聲音編,22,語音處理,步驟如下：,去除靜音,調整聲音格式(8000HZ、16bit及單聲道),語音處理步驟如下：,23,訓練對照組，取得特徵值,1.選擇聲音,2.加入聲音,3.開始訓練,4.訓練完成，,取得特徵參數,訓練對照組，取得特徵值1.選擇聲音2.加入聲音3.開始訓練4,24,對照組訓練結果,對照組訓練完畢後，我們會取得16組的特徵參數,接下來將,16組聲音,(NO)與,對照組,作語音辨識，使用VB程式計算其相似度,對照組訓練結果對照組訓練完畢後，我們會取得16組的特徵參數,25,語音辨識,1.將對照組讀入,2.開始辨識,語音辨識1.將對照組讀入2.開始辨識,26,如何判斷電腦辨別聲音成功？,驗證：,16組語音與,對照組相似度，如下表,如何判斷電腦辨別聲音成功？驗證：,27,如何判斷電腦辨別聲音成功？,失敗的原因分析,聲音大小不一,有的聲音唸太快,改善做法,利用GoldenWave將音量統一為0db，並且更替唸太快的聲音重新辨識(db，分貝，為聲音的音量，0db並非無音量，且可使雜音影響最小),如何判斷電腦辨別聲音成功？失敗的原因分析,28,如何判斷電腦辨別聲音成功？,重新取得對照組相似度：門檻值定為836,如何判斷電腦辨別聲音成功？重新取得對照組相似度：門檻值定為8,29,如何判斷電腦辨別聲音成功？,以作為待測聲音,取得跟的相似度：,很明顯的發現很多組相似度都超過了門檻值，與假設不合,如何判斷電腦辨別聲音成功？以作為待測聲音,30,如何判斷電腦辨別聲音成功？,檢討失敗原因,討論後的結果是：或許不該用,相似度最低值,來當做辨別成功門檻值，應該以,相似度平均值,的最低值(平均最低值為,1983,)來作為辨別門檻會較為可信,如何判斷電腦辨別聲音成功？檢討失敗原因,31,如何判斷電腦辨別聲音成功？,驗證：,三組相似度平均值的確皆小於1983,結論：,電腦可以成功辨別不同聲音,如何判斷電腦辨別聲音成功？驗證：,32,是否能正確辨別男女的聲音?,(黃同性別比對分數，灰異性別比對分數),是否能正確辨別男女的聲音?(黃同性別比對分數，灰異性別比,33,是否能正確辨別同性別及不同性別的聲音?,分析以上數據，可以明顯發現，同性別的相似度平均值高於不同性別的相似度平均值高，由此證明電腦能正確辨別同性別及不同性別的聲音(以正常語調)。,是否能正確辨別同性別及不同性別的聲音?,34,是否能正確辨別不同年紀的聲音?,根據下表數據可得知：,15歲組不合乎假設，同年齡層的相似度為最低。,各組分數十分接近,因此得知電腦無法正確辨別不同年紀(不分男女)的聲音。,是否能正確辨別不同年紀的聲音?根據下表數據可得知：,35,研究結論,1.發現聲音音量會影響到相似度辨識結果,Example：30-2-1 原音量太大聲 造成分數都是負數，因此減低音量 得到分數749為正常,2.聲音唸太快電腦無法辨識,3.電腦可以成功辨別不同聲音(以no及ya聲音為例),4.電腦能正確辨別男女的聲音,5.電腦無法正確辨別不同年紀的聲音,6.資料的備份很重要，以免不當操作造成不可挽救的遺憾(以林育丞為例),研究結論1.發現聲音音量會影響到相似度辨識結果,36,報告完畢,感謝指導我們的郭人豪老師及提供聲音的師生，還有借我們Wii的吳欣儒老師。,報告完畢感謝指導我們的郭人豪老師及提供聲音的師生，還有借我們,37,
展开阅读全文