科技大擂台 講者：李宏毅

吳宗翰 謝濬丞 錢柏均 葉奕廷 劉記良 黃兆緯 陳延昊 李宏毅 (教授) 劉浩然 陳縕儂 (教授)

那些以為在科技大擂台會派上用場但實際上沒有的技術 SNR SDR 那些以為在科技大擂台會派上用場但實際上沒有的技術 講者：李宏毅

那些以為在科技大擂台會派上用場但實際上沒有的技術 技術一：台語語音辨識

台語語音辨識 台語語音辨識 “母湯” (台語語音) 台語語音辨識+中文翻譯 “不行” (台語語音) 訓練資料: YouTube 上的鄉土劇 感謝 李仲翊 同學提供實驗結果 台語語音辨識 台語語音辨識 “母湯” 看不懂 … (台語語音) 台語語音辨識+中文翻譯 “不行” (台語語音) 訓練資料: YouTube 上的鄉土劇 (台語語音、中文字幕)，約 1500 小時

台語語音辨識 不管 … 不管 … 有背景音樂、音效？ 語音和字幕沒有對齊？ 台羅拼音？ 不用 … 只有用深度學習 “硬學一發”

Demo 辨識正確率達到 62.1% 你 的 身 體 撐 不 住 沒 事 你 為 什 麼 要 請 假 要 生 了 嗎 正解:不 會 膩 嗎 我 有 幫 廠 長 拜 託 正解: 我 拜 託 廠 長 了 https://ieeexplore.ieee.org/document/8682801/ (ICASSP 2019)

那些以為在科技大擂台會派上用場但實際上沒有的技術 技術二：source separation

完全沒有用到Fourier Transform Source Separation 完全沒有用到Fourier Transform 只有用深度學習“硬學一發” Improved Speech Separation with Time-and-Frequency Cross-domain Joint Embedding and Clustering https://arxiv.org/abs/1904.07845

感謝 孫凡耕同學、施順耀同學提供實驗結果 Source Separation WSJ: 同時說話 語者一 語者二 複賽範例試題: 要更多嗎?

那些以為在科技大擂台會派上用場但實際上沒有的技術 技術三：Cross-lingual Transfer Learning

Transfer Learning on QA Cross-Lingual Transfer Learning for Question Answering Deep learning based QA Goal document Model answer query Training Data Testing Data Chinese Dataset Chinese Dataset Small English Dataset Large (SQuAD) Can English data be helpful here?

Transfer Learning on QA Cross-Lingual Transfer Learning for Question Answering Chinese Document Chinese Private Model Chinese Query Shared Model answer English Document English Private Model English Query The whole QA model

Transfer Learning on QA Cross-Lingual Transfer Learning for Question Answering Chinese Document Extract language independent semantic information Chinese Private Model Chinese Query Shared Model answer English Document English Private Model English Query Discriminator Which model? Try to fool the discriminator Using the idea of Domain Adversarial Training

那一日做 NLP 的人回想起被 BERT 統治的恐懼

Recap: cross-lingual transfer learning for reading comprehension Cross-lingual transfer: adapt model trained on source language to target language Zero-shot: without training on target-domain data SQUAD DRCD KorQuAD fine-tuning on English QA dataset zero-shot testing on other languages Multi-BERT

Zero-shot Transfer with Multi-BERT *on Chinese dev-set (DRCD) F1 score of Human performance is 93.30%

那些以為在科技大擂台會派上用場但實際上沒有的技術 技術四：Dataset - ODSQA

SPOKEN OPEN-DOMAIN QUESTION ANSWERING DATASET ODSQA Link: https://github.com/chiahsuan156/ODSQA SPOKEN OPEN-DOMAIN QUESTION ANSWERING DATASET

ODSQA SOD QA ODS QA Link: https://github.com/chiahsuan156/ODSQA SPOKEN OPEN-DOMAIN QUESTION ANSWERING DATASET SOD QA OPEN-DOMAIN SPOKEN QUESTION ANSWERING DATASET ODS QA

Techniques Developed Adversarial Learning Subword Units https://arxiv.org/abs/1804.00320 https://arxiv.org/abs/1904.07904

Does BERT solve all the problems?

Does BERT solve all the problems? test Squad 1.1 CoQA QuAC Qangaroo Squad 2.0 hotpotQA 88.3 50.4 28.3 5.5 44.1 32.3 83.0 56.2 26.6 6.3 45.2 28.6 48.1 25.8 53.1 4.2 38.4 14.3 48.5 14.5 23.8 45.0 50.1 0.8 89.4 48.0 39.0 13.7 77.0 22.0 82.9 48.7 38.2 18.0 53.6 42.5 train F1???? row為依序train的task; col為val使用的task。 其他train不太起來，跟任務有關 Squad2.0-->hotpotQA發現其他task變動不大，sparse的representation可以幫助LLL或兩個很像