1 Introduction Prof. Lin-Shan Lee

Introduction of the Project 2 Speech Recognition by Kaldi toolkit

第一階段專題 目的：透過建立一個基本的大字彙語音辨識系統，讓同學對語音辨識有具體的了解，並且以此作為進一步研究各項進階技術的基礎。 3 目的：透過建立一個基本的大字彙語音辨識系統，讓同學對語音辨識有具體的了解，並且以此作為進一步研究各項進階技術的基礎。 Recognition System Input Speech Output Sentence

How to do recognition? How to map speech O to a word sequence W ? 4 How to map speech O to a word sequence W ? P(O|W): acoustic model P(W): language model

Language model P(W) 5 W = w1, w2, w3, …, wn

Language model examples 6 Probability in log scale

Acoustic Model P(O|W) Model of a phone Markov Model 7 Model of a phone Markov Model Gaussian Mixture Model

Feature Extraction 8 Feature Extraction

MFCC (Mel-frequency cepstral coefficients) 9 13 dimensions vector

Lexicon 10

語音辨識系統 Use Kaldi as tool Feature Vectors Output Sentence 11 Use Kaldi as tool Input Speech Feature Vectors Output Sentence Linguistic Decoding and Search Algorithm Front-end Signal Processing Speech Corpora Acoustic Model Training Acoustic Models Language Model Language Model Construction Text Corpora Lexicon Lexical Knowledge-base Grammar

Linux Introduction 12

Vim 如何建立文件： vim hello.txt 進去後，輸入”i”即可進入編輯模式 此時，按下ESC即可回復一般模式，此時可以： 13 如何建立文件： vim hello.txt 進去後，輸入”i”即可進入編輯模式 此時，輸入任何你想要打的 此時，按下ESC即可回復一般模式，此時可以： 輸入”/你要搜尋的文字” 輸入”:w”即可存檔 輸入”:wq”即可存檔+離開

Screen 簡單講一下，避免因為斷線而程式跑到一半就失敗了， 大家可以使用screen，簡單使用法如下： 14 簡單講一下，避免因為斷線而程式跑到一半就失敗了， 大家可以使用screen，簡單使用法如下： 1) 一登入後打"screen"，就進入了screen使用模式，用法都相同 2) 如果想要關掉此screen也是用"exit" 3) 如果還有程式在跑沒有想關掉他，但是想要跳出， 按"Ctrl + a" + "d"離開screen模式(此時登出並關機程式也不會斷掉) 4) 下次登入時，打"screen -r"就可以跳回之前沒關掉的screen唷~ 5) 打”screen -r” 也許會有很多個未關的screen，輸入你要的 screen id 即可（越大的越新） 這樣就算關掉電腦，工作仍可以進行!!!

Linux Shell Script Basics 15 echo “Hello” (print “hello” on the screen) a=ABC (assign ABC to a) echo $a (will print ABC on the screen) b=$a.log (assign ABC.log to b) cat $b > testfile (write “ABC.log” to testfile) 指令 -h (will output the help information)

Feature Extraction 16 02.extract.feat.sh

Feature Extraction - MFCC 17

Extract Feature (02.extract.feat.sh) 18 Training Set Input Output Archive 目錄 Development Set Testing Set

Kaldi rspecifier & wspecifier format 19 ark:<ark file> 眾多小檔案的檔案庫，可能是wav檔、mfcc檔、statistics的集合 scp:<scp file> 一群檔案的位置表，可能指向個別檔案(如我們的material/train.wav.scp)，也可以指向ark檔中的位置 ark,t:<ark file> 輸出文字檔案的ark，當輸入時,t無作用；不加,t，預設輸出二進位格式 ark,scp:<ark file>,<scp file> 同時輸出ark檔和scp檔

Extract Feature (extract.feat.sh) 20 add-deltas compute-cmvn-stats apply-cmvn

MFCC – Add delta add-deltas Deltas and Delta-Deltas 21 add-deltas Deltas and Delta-Deltas 將MFCC的Δ以及ΔΔ (意近一次微分與二次微分) 加入參數中，使得總維度變成39維 Usage：

MFCC – CMVN 22 CMVN： Cepstral Mean and Variance Normalization

MFCC – CMVN 23 compute-cmvn-stats Usage： apply-cmvn

Hint (Important!!) 24

Homework Linux, background knowledge 01.format.sh, 02.extract.feat.sh 25 Linux, background knowledge 01.format.sh, 02.extract.feat.sh

Homework 如果你沒有操作 Linux 系統的經驗，請事先預習 Linux 系統的指令。 鳥哥的Linux 私房菜 26 如果你沒有操作 Linux 系統的經驗，請事先預習 Linux 系統的指令。 鳥哥的Linux 私房菜 第七章Linux 檔案與目錄管理 http://linux.vbird.org/linux_basic/0220filemanager.php 第十章vim 程式編輯器 http://linux.vbird.org/linux_basic/0310vi.php

Homework (optional) 閱讀： 使用加權有限狀態轉換器的基於混合詞與次詞以文字及語音指令偵測口語詞彙” – 第三章 27 閱讀： 使用加權有限狀態轉換器的基於混合詞與次詞以文字及語音指令偵測口語詞彙” – 第三章 https://www.dropbox.com/s/dsaqh6xa9dp3dzw/wfst_thesis.pdf

Data 登入工作站 pietty/putty/Xshell ssh 140.112.21.80 port 22 複製壓縮檔到自己的子資料夾 28 登入工作站 pietty/putty/Xshell ssh 140.112.21.80 port 22 複製壓縮檔到自己的子資料夾 cp /share/proj1.ASTMIC.subset.tar.gz 解壓縮 tar –zxvf proj1.ASTMIC.subset.tar.gz

To Do Step 1: Execute the following command: Step 2: 29 Step 1: Execute the following command: script/01.format.sh | tee log/01.format.log script/02.extract.feat.sh | tee log/02.extract.feat.sh.log Step 2: Add-delta CMVN Observe the output and report

Schedule Week Progress Group 1 Introduction 30 Week Progress Group 1 Introduction Linux入門 + Feature extraction 2 Acoustic model training： monophone & triphone 3 Language model training + Decoding A 4 Live demo B 5 Progress Report 6

注意事項 If you have any problem …… 留下要開的專題工作站帳號和e-mail與FB 帳號 31 If you have any problem …… Facebook Group：數位語音專題 Lecture system：http://speech.ee.ntu.edu.tw/courses.html 張瀞婷：b01901135@ntu.edu.tw 黃邦齊：r05921051@ntu.edu.tw 留下要開的專題工作站帳號和e-mail與FB 帳號 請各位今晚前寄一封信到 b01901135@ntu.edu.tw, 說明組員,組別(A/B),要開的專題工作站帳號及你們的emails,此外提供FB帳號,才能將你們加入語音專題社團,Thanks