103上語音專題第二階段題目
華語學習對話樹遊戲系統 助教: 吳全勳 r02922002@ntu.edu.tw 專題簡介: 對話樹遊戲系統，為一套幫助外國人學習華語的發音練習遊戲。學習 者將與電腦進行角色扮演的互動對話，並有多個不同的對話情境，如餐廳點菜、 電話約會……等等。對話的進行與學習者的發音成績有關，系統將推薦學習者更 適合練習的對話句子，讓學習者有更多機會練習到成績較差的發音單位(如子音、 母音、聲調)。本專題即在了解並改進如何根據使用者之發音成績，來即時推薦 更有效率的對話句子。 專題目標: 第一學期希望專題生了解MDP (Markov Decision Process, 馬可夫決策 過程)之構造，MDP為一種機器學習(Machine Learning)方法，是這裡的推薦對話 系統的基底。第一學期將會以小精靈遊戲作為MDP學習的範例，了解MDP影響小 精靈走迷宮的各種模式。很可能到第二學期才能正式進入對話樹系統，並設法修 改MDP的模型來增進對話樹的推薦句效能。
非監督式語音文件摘要(Unsupervised Spoken Document Summarization) 助教: 鍾承道 f01921031@ntu.edu.tw 專題簡介: 今日語音辨識基本上是用有人標註好(註明每一段聲音在說什麼)的語料去 訓練模型。但在巨量資料的時代裡，大量語料不再是問題，可是要人去標註那麼多的 語料變成難題，於是有人思考不要標註語料的模型訓練方法，假設在沒有文字標註的 情形下，我們希望可以使用 HMM 模型，直接從聲音中學出語言中一些類似文字或音 素(Phoneme)的基本單位，就像小孩學習語言一樣，不斷反覆的練習聆聽自己朗讀的 聲音，有可能自動地讓機器學習組成語音的基礎單位，這些單位具有類似文字或音素 的統計性質。這就是所謂的「非監督式」(unsupervised)語音辨識。相較於文字文件， 語音文件是不易於檢索且瀏覽費時的。而在文字上如何從一篇文章中利用詞頻的統計 資訊抽出一些句子來形成摘要已經有相當多研究。所以若把語音訊號轉換成類似文字 的單位就可以跨越這個鴻溝。這使得我們可以在沒有任何文字標註的情況下做出摘要。 我們甚至不需要知道原始訊號是哪一種語言。在這個專題中，助教會教同學用 HTK 及 Python 來進行實作。同學可以提供自己較感興趣的語料，或是某種隨時間變化的 訊號進行實驗。
Unsupervised Semantic Retrieval of Spoken Documents With Query Expansion 語音文件之非監督式語意檢索- 使用查詢詞擴展 助教: 劉元銘 qxesqxes@gmail.com 專題簡介: 常見的搜尋引擎大多以字面比對（literal matching）的搜尋方式為主， 也就是檢索系統只會回傳包含使用者查詢詞的文件，但這樣的作法顯然無法完全 滿足使用者的需求，比方說，當使用者輸入查詢詞「歐巴馬」時，通常希望找到 的是與「美國總統」在語意上相關的資訊，即使這些資訊中沒有包含「歐巴馬」 這三個字的也希望能找到。本專題將以前述的語意檢索為主題，使用查詢詞擴展 (query expansion)，並考慮語音辨識錯誤，用非監督式的方法提升語音文件檢索 效能。
以深層類神經網路(Deep Neural Network)從語音數位內容(Spoken Content)擷取資訊 助教: 劉元銘 qxesqxes@gmail.com 專題簡介: 人類能夠透過閱讀文章、瀏覽影片學習知識，機器也能做到嗎？本專 題希望藉由近年來熱門的深層學習(Deep Learning)技術，讓機器能在「瀏覽」一 段影片(例如：上課錄影)之後，能從中擷取重要的資訊。本專題研究分為兩步驟： 首先，我們讓機器「閱讀」大量的文章，透過深層類神經網路(Deep Neural Network, DNN) 的技術，設法讓機器了解每一個詞彙的文法和語意，例如：機器 可能可以自動知道「歐巴馬」和「總統」為類似的實體(entity)；接下來，有了 詞彙的文法和語意之後，藉由一些訓練資料，機器可以透過深層類神經網路學習 如何從影片中擷取出有用的資訊，例如：從新聞中擷取出「歐巴馬是總統」這個 資訊。本研究未來可能有很多應用，例如：我們可以給機器某一門課的錄音，讓 機器從課程內容學習實體之間的關聯性，並建構資料庫，如此我們可能可以建構 出一個問答(Question Answering, QA) 系統，讓機器輔助老師，回答學生們的問 題。
語音數位內容(Spoken Content)搜尋 助教: 許家興 maple0826@gmail.com 專題簡介: 用 Google 關鍵詞來搜尋網頁是現在生活不可或缺的一部分，但網路 上除了文字的資訊，還有大量的多媒體，例如：YouTube 上的影片，在這些多媒 體中，語音扮演了傳遞資訊非常重要的角色。以語音辨識技術先將語音轉成文字， 再直接在語音辨識的結果上以文字搜尋的技術進行搜尋，並不能得到理想的結果， 因為依據現階段的語音辨識技術，將語音轉寫成文字仍然會有很多錯誤，所以新 的語音數位內容搜尋技術仍在持續開發中。目前台大語音實驗室和麻省理工學院 (MIT) 電腦科學暨人工智慧實驗室(CSAIL)的口語系統(SLS)組正合作在非主流語言 *上開發語音數位內容搜尋技術。本專題將帶領同學從基本的語音數位內容搜尋 技術開始實作，如果有好的研究成果，有機會可以用到台大語音實驗室和麻省理 工學院的合作計畫中。 *例如：寮國語、阿薩姆語等。因為非主流語言的研究非常少，可以用的訓練語 料也非常少，所以目前的語音辨識技術在非主流語言上錯誤率非常高，所以選用 非主流語言作為研究對象。
以語音技術提升線上學習效能 助教: 沈昇勳 b99901107@ntu.edu.tw 專題簡介: 多媒體及網路技術的發展成熟促成了大量公開線上教學課程(Massive open online course, MOOC)的興起，今日當學習者想要修習和某一主題相關的課程時，搜 尋技術可以幫助學習者從大量的線上課程中找到相關的教學影片。但因為使用者對要 學習的主題往往並不熟悉，而這些教學影片的內容可能有深有淺，因此使用者很有可 能不知該從哪些相關影片開始看起。因為在線上課程中授課教師上課錄影的聲音是傳 遞資訊最重要的部分，所以這個研究題目就是希望藉由數位語音處理技術，機器能自 動分析、組織課程內容，甚至能將大量教學影片自動規劃成學習地圖。在此目標下， 有非常多研究主題可以思考，例如：假設有兩段來自兩門不同課程的影片，系統如何 能自動知道，其中一個是比較基礎的知識，學習者應該先看完後才能理解另一段影片 的內容。本研究為台大語音實驗室和麻省理工學院 (MIT) 電腦科學暨人工智慧實驗室 (CSAIL)口語系統(SLS)組的合作計畫，如果有好的研究成果，有機會可以用到台大語音 實驗室和麻省理工學院的合作計畫中。 系統雛形展示影片：https://www.youtube.com/watch?v=VGKvPShhmiQ