科技大擂台 講者：李宏毅.

Presentation on theme: "科技大擂台 講者：李宏毅."— Presentation transcript:

1 科技大擂台 講者：李宏毅

2 吳宗翰 謝濬丞 錢柏均 葉奕廷 劉記良 黃兆緯 陳延昊 李宏毅 (教授) 劉浩然 陳縕儂 (教授)

3 那些以為在科技大擂台會派上用場但實際上沒有的技術
SNR SDR 那些以為在科技大擂台會派上用場但實際上沒有的技術 講者：李宏毅

4 那些以為在科技大擂台會派上用場但實際上沒有的技術
技術一：台語語音辨識

5

6 台語語音辨識 台語語音辨識 “母湯” (台語語音) 台語語音辨識+中文翻譯 “不行” (台語語音) 訓練資料: YouTube 上的鄉土劇
感謝 李仲翊 同學提供實驗結果 台語語音辨識 台語語音辨識 “母湯” 看不懂 … (台語語音) 台語語音辨識+中文翻譯 “不行” (台語語音) 訓練資料: YouTube 上的鄉土劇 (台語語音、中文字幕)，約 1500 小時

7 台語語音辨識 不管 … 不管 … 有背景音樂、音效？ 語音和字幕沒有對齊？ 台羅拼音？ 不用 … 只有用深度學習 “硬學一發”

8 Demo 辨識正確率達到 62.1% 你 的 身 體 撐 不 住 沒 事 你 為 什 麼 要 請 假 要 生 了 嗎 正解:不 會 膩 嗎
我 有 幫 廠 長 拜 託 正解: 我 拜 託 廠 長 了 (ICASSP 2019)

9 那些以為在科技大擂台會派上用場但實際上沒有的技術
技術二：source separation

10 完全沒有用到Fourier Transform
Source Separation 完全沒有用到Fourier Transform 只有用深度學習“硬學一發” Improved Speech Separation with Time-and-Frequency Cross-domain Joint Embedding and Clustering

11

12 感謝 孫凡耕同學、施順耀同學提供實驗結果 Source Separation WSJ: 同時說話 語者一 語者二 複賽範例試題: 要更多嗎?

13 那些以為在科技大擂台會派上用場但實際上沒有的技術
技術三：Cross-lingual Transfer Learning

14 Transfer Learning on QA
Cross-Lingual Transfer Learning for Question Answering Deep learning based QA Goal document Model answer query Training Data Testing Data Chinese Dataset Chinese Dataset Small English Dataset Large (SQuAD) Can English data be helpful here?

15 Transfer Learning on QA
Cross-Lingual Transfer Learning for Question Answering Chinese Document Chinese Private Model Chinese Query Shared Model answer English Document English Private Model English Query The whole QA model

16 Transfer Learning on QA
Cross-Lingual Transfer Learning for Question Answering Chinese Document Extract language independent semantic information Chinese Private Model Chinese Query Shared Model answer English Document English Private Model English Query Discriminator Which model? Try to fool the discriminator Using the idea of Domain Adversarial Training

17

18 那一日做 NLP 的人回想起被 BERT 統治的恐懼

19 Recap: cross-lingual transfer learning for reading comprehension
Cross-lingual transfer: adapt model trained on source language to target language Zero-shot: without training on target-domain data SQUAD DRCD KorQuAD fine-tuning on English QA dataset zero-shot testing on other languages Multi-BERT

20 Zero-shot Transfer with Multi-BERT
*on Chinese dev-set (DRCD) F1 score of Human performance is 93.30%

21

22 那些以為在科技大擂台會派上用場但實際上沒有的技術
技術四：Dataset - ODSQA

23 SPOKEN OPEN-DOMAIN QUESTION ANSWERING DATASET
ODSQA Link: SPOKEN OPEN-DOMAIN QUESTION ANSWERING DATASET

24 ODSQA SOD QA ODS QA Link: https://github.com/chiahsuan156/ODSQA
SPOKEN OPEN-DOMAIN QUESTION ANSWERING DATASET SOD QA OPEN-DOMAIN SPOKEN QUESTION ANSWERING DATASET ODS QA

25 Techniques Developed Adversarial Learning Subword Units

26 Does BERT solve all the problems?

27 Does BERT solve all the problems?
test Squad 1.1 CoQA QuAC Qangaroo Squad 2.0 hotpotQA 88.3 50.4 28.3 5.5 44.1 32.3 83.0 56.2 26.6 6.3 45.2 28.6 48.1 25.8 53.1 4.2 38.4 14.3 48.5 14.5 23.8 45.0 50.1 0.8 89.4 48.0 39.0 13.7 77.0 22.0 82.9 48.7 38.2 18.0 53.6 42.5 train F1???? row為依序train的task; col為val使用的task。 其他train不太起來，跟任務有關 Squad2.0-->hotpotQA發現其他task變動不大，sparse的representation可以幫助LLL或兩個很像