作品名稱：手語翻譯君 指導老師：姚智原 開發團隊：陳建樺、程俊瑋 國立臺灣科技大學資訊工程系 2015/12/11

Presentation on theme: "作品名稱：手語翻譯君 指導老師：姚智原 開發團隊：陳建樺、程俊瑋 國立臺灣科技大學資訊工程系 2015/12/11"— Presentation transcript:

1 作品名稱：手語翻譯君 指導老師：姚智原 開發團隊：陳建樺、程俊瑋 國立臺灣科技大學資訊工程系 2015/12/11
教育部資通訊軟體創新人才推升推廣計畫 「智慧終端與人機互動創作專題競賽」報告 作品名稱：手語翻譯君 指導老師：姚智原 開發團隊：陳建樺、程俊瑋 國立臺灣科技大學資訊工程系 2015/12/11

2 作品動機與簡介 開發動機 為了改善聽語障朋友的生活，我們建立了數位手語辨識系統。 希望聽語障朋友能夠藉由數位手語辨識系統達成更直接的溝通。

3 作品動機與簡介 作品簡介 開發完善的穿戴式裝置與系統，協助聽語障朋友手語的翻譯及口語的發聲或文字的顯示，讓聽語障朋友的生活更便利，更容易與他人溝通。

4 作品動機與簡介 系統範圍 手語辨識系統之主要目的在於將個別使用者所擷取的手勢資訊，經過分析辨識後，再回饋給使用者及其溝通對象。使用者的手勢資訊將由資料手套上的感應器彙整，以無線傳輸的方式，傳遞於電腦，最後藉由電腦呈現結果。

5 需求分析 需求功能說明 系統效能、可用性、安全性說明
手勢擷取（發送端）： 本系統設計並製作了低功率的無線式資料手套，透過手套上的彎曲感測器、陀螺儀及加速度計對應到手勢中的手指動作及手的方向進行手勢資訊擷取。並以2.4G無線傳輸機制，傳輸資料至接收端。 辨識系統與結果呈現（接收端）： 藉由接收器與電腦連接後，電腦端將收到資料手套發送的手勢資訊，將資訊帶入辨識演算法，最後由電腦端進行結果顯示或發聲。 系統效能、可用性、安全性說明 此系統正在進行使用者測試及可用性測試。

6 需求分析 系統軟硬體架構說明 硬體架構 軟體架構圖

7 系統設計 軟體模組設計 簡易類別圖

8 系統設計 軟體模組設計 系統狀態圖

9 系統設計 軟體模組設計 資料庫設計 軟體動態行為設計 使用者可藉由穿戴資料手套使用此系統進行手語翻譯及資料庫錄製

10 系統設計 介面設計 手勢顯示 辨識介面

11 系統設計 介面設計 資料觀測介面

12 系統設計 介面設計 手語錄製介面

13 系統設計 資料結構 雙手手勢資料 資料庫設計 資料庫以CSV文件格式儲存，供系統快速讀入記憶體。

14 系統設計 演算法設計

15 系統測試 單元測試 感測器數據

16 系統測試 整合測試 連線穩定度

17 系統測試 系統測試 程序穩定度 系統辨識率

18 系統測試 使用者驗收測試 系統辨識率 單詞比較 使用者1 使用者2 使用者3 平均辨識率 個人辨識率 83% 98% 85% 88.6% A real-time continuous gesture recognition system for sign language. Rung-Huei Liang, and Ming Ouhyoung. FG, IEEE Computer Society, (1998) 80.4% 情境模擬 情境1 情境2 情境3 平均辨識率 智慧手套 88.6% 77.3% 84.8% Android Wear 100% 44% 0% 48%

19 系統功能說明展示