研究生 ：鍾哲民 指導教授：王宗一 報告者 ：林谷霖 課程指導：蘇德仁

Presentation on theme: "研究生 ：鍾哲民 指導教授：王宗一 報告者 ：林谷霖 課程指導：蘇德仁"— Presentation transcript:

1 研究生 ：鍾哲民 指導教授：王宗一 報告者 ：林谷霖 課程指導：蘇德仁
專題研討-心得報告 加速度動作辨識系統之 研究與應用 研究生 ：鍾哲民 指導教授：王宗一 報告者 ：林谷霖 課程指導：蘇德仁 國立成功大學工程科學系碩士論文 100/06/02

2 目錄 摘要 動機與目的 研究方法 系統架構 動作辨識演算法 技術應用與實作 實驗設計與結果 結論與未來展望

3 摘要 人機介面和手持式行動裝置技術在近年一直是重要的研究課題，相關成果也常在產學界做技術轉移，不僅是快速的開發且銷售到消費市場，產生巨大產值。 嘗試使用加速度感測器的概念，設計一辨識人體3D動作特徵之演算法，將之應用在生活多種情境，以改善以往人機介面、增進使用親和度。

4 動機與目的(1) 許多應用隨著科技的突破應運而生，全世界對智慧型手機的研發與應用形成一股不可抵擋的熱潮。

5 身分驗證密碼 教學演講輔助 多媒體控制 危險警報
動機與目的(2) 有別於影像辨識動作技術， 以加速度感測元件(Accelerometer Sensor) 作為動作辨識之感測設備，再以更簡單、便利且直覺的操作，獨立使用或輔助搭配其他技術來改善辨識互動運算搭配普及運算(Ubiquitous Computing)的概念，將其技術應用在以下… 身分驗證密碼 教學演講輔助 多媒體控制 危險警報

6 研究方法 本研究在硬體上採用 Wii 的遙控器-“Wii-mote”作為加速度感測設備，將訊號資料正規化、雜訊過濾與強度縮減及轉換動作特徵向量，再將此動作向量與動作知識庫中動作向量做相似度比對，最後根據不同情境設定之門檻值與狀態，判斷出最有可能的動作與意義。 為更符合人性便於使用，減少事前繁複的人機訓練過程，並顧慮即時性的人機反應，將三維資料轉換為一維序列的動作序列，採用運算簡單快速的共同子序列比對演算法(Longest Common Subsequence; LCS)作為計算相似度的依據，彈性應用在不同的使用情境中，建構出無所不在的數位生活。

7 系統架構(1) 本動作辨識系統有別於影像辨識動作之技術，利用Wii 直覺的動作，配合動作辨識演算法，結合加速度控制器與Samsung S3c2440 開發平台，再利用藍芽作為通訊介面，與可攜式平台做連線，軟體部分，採用Linux 作業系統，搭配藍芽driver 與加速度感測器做連線

8 系統架構(2) 運作流程：動作辨識系統是基於動作由加速度感測器擷取以後，產生動作序列，再進行正規化得到特徵序列，此特徵序列在依照不同情境需求存入動作軌跡資料庫，提供不同情境比對使用。

9 系統架構(3) 本系統中，是以Samsung S3c2440(如下圖)和PC做為開發應用平台，並可外接USB 藍芽接收器和加速度控制器。
嵌入式系統平台是以Linux 為作業系統（Linux Kernel 2.6），而PC 是以Windows XP 作為執行環境，並設計圖形化介面的軟體環境。 在嵌入式作業系統（Linux Kernel 2.6）中，可以連結乙太網路或無線網路(WiFi/GPRS 等通訊連接)，以達到遠端簡報操作、多媒體設備操作和移動之安全警報等之應用。

10 動作辨識演算 系統採用原創動作辨識演算法，共分為七個階段： 1.訊號取樣與正規化 2.特徵向量分析與轉換 3. 雜訊過濾與強度縮減
4. 計算動作向量最長共同子序列 5. 計算動作相似度 6. 門檻值判斷 7. 子功能應用

11 動作辨識演算(1)-訊號取樣與正規化 以三軸加速度感測器作為本演算法的 input，本系統採用的是ADXL330 加速度感測 IC，該 IC 輸出X、Y、Z 三軸電壓變化，可取得三軸raw data 資料0~255，當raw data 為130 代表加速度為0，155 為加速度與重力相等，105 則是代表加速度與負重力相等，以實際情況來說，就是將加速度感測 IC 倒置的狀態。

12 動作辨識演算(2)-特徵向量分析與轉換 將加速度感測器收集到的X、Y、Z 共三軸的正負變化量，分別歸類到八個等子空間，轉換空間向量模型(Transforming &Modeling)，隨著時間改變的加速度變化量序列，將會簡化成1~8 的有限狀態機，也就是所謂的動作序列(Motion Sequence)或特徵向量(Feature Vector)

13 動作辨識演算(3)-雜訊過濾與強度縮減 此階段就是將上個特徵轉換階段狀態為 0 的雜訊先行移除，再進行強度縮減的步驟，例如 會變成 。 採取最小強度作為一次動作的縮減分母，例如 的強度各別為4346，最小強度就是連續出現3 次的狀態2，將連續3 次作為最小強度基底來縮減整個動作序列，就是我們最後得到簡化的動作特徵向量，例如 就會縮減成 ，就可以進行下階段的相似度比較。

14 動作辨識演算(4)-計算動作向量最長共同子序列
將4D的資訊化簡得到一個一維的陣列，為比對此陣列且須考慮陣列元素的順序性、連續性等符合空間向量比對的特性，且要能快速比對得到良好的結果，也就是常見的最長共同子字串演算法(Longest Common Subsequence; LCS)作為計算動作向量相似度的評估。

15 動作辨識演算(5)-計算動作相似度 比 對 率 (Matching Rate) ， 也就是動作的相似度(Similarity Rate)，可以設定門檻值來篩選判斷動作相似度是否為合法通過的範圍。 Matching Rata = x 100% 比對率公式

16 動作辨識演算(6)-門檻值判斷 求得比對率(Matching Rate)後，再經實驗統計，判斷不同應用下所適合的門檻值。
例如在身分驗證的情境，若此動作是大家共享的password 動作，可將門檻值調整約在50%，此為合法動作(True Positive)的最低比對率與非法動作(True Negative)的最高比對率的區域值。 若屬於個人的password 動作，則可設定在60%以上作為門檻值；相同的，若是在投影片、多媒體控制等情境，可將門檻值放低，取排序後相似度最高即可。

17 動作辨識演算(7)-子功能應用 最後的辨識結果將會對應子功能中預設或使用者設定之互動，本研究建構之系統共有四個子功能，分別為“身分密碼驗證”、“教學演講輔助”、“多媒體控制”、“危險警報”，不同的功能應用將會有不同的門檻值設定以及不同的手勢登入。

18 技術應用(1)-身分密碼驗證 目的：(1)訓練並建立出具個人化之動作特徵模型(2)辨識比對使用者 個人化之動作特徵模型
目的：(1)訓練並建立出具個人化之動作特徵模型(2)辨識比對使用者 個人化之動作特徵模型 功能：動作特徵訓練與比對辨識 應用：身分、密碼以及個人化驗證 身分驗證流程設計

19 技術應用(1)-實作方面 可看到身分密碼驗證功能具有新增/刪除/登入帳號密碼之功能，目前已登錄18 組帳號密碼供實驗比對使用。使用者登錄帳號密碼後，可比對帳號密碼作為身分比對確認的登入動作，也可比對身分後刪除帳號。

20 技術應用(2)-教學演講輔助 目的：(1)辨識預設之動作手勢對應簡報動作(2)模擬滑鼠功能對應螢 幕座標
目的：(1)辨識預設之動作手勢對應簡報動作(2)模擬滑鼠功能對應螢 幕座標 功能：利用動作簡化軟體操作、模擬滑鼠操作 應用：取代滑鼠、簡報雷射筆

21 技術應用(2)-實作方面 以按鈕切換控制滑鼠和控制投影片兩種模式，系統提供輸入上/下各5 個手勢來辨識上/下翻投影片，與身分驗證系統不同的是，本子功能只需按住按鈕後揮動手勢，放開後會自動辨識按住按鈕期間的手勢動作。

22 技術應用(3)-多媒體控制 目的：辨識預設之動作手勢對應多媒體播放控制 (如播放、停止、上/下首、音量等) 功能：控制多媒體播放軟體

23 技術應用(3)-實作方面 多媒體與家電控制，可以即時連線給遠端多媒體裝置，以預先登錄好的動作手勢，對應播放操作功能來達成我們控制多媒體的功能，實現數位家庭對於數位多媒體中心遠距控制的技術。多媒體控制的子功能提供登入六種控制各四次手勢，讓使用者能在遠端方便的控制多媒體影片、歌曲，不像遙控器需要看功能按鈕，在昏暗環境也能直覺控制多媒體。

24 技術應用(4)-危險警報 目的：偵測判斷劇烈撞擊、跌落、翻滾等危險意外特徵通報安全監控 中心 功能：感知預設的危險發生，通報處理
目的：偵測判斷劇烈撞擊、跌落、翻滾等危險意外特徵通報安全監控 中心 功能：感知預設的危險發生，通報處理 應用：(1)老弱婦孺、病患安全照護(2)交通工具事故紀錄與通知

25 技術應用(4)-實作方面 研究實作紀錄滾動、跌倒、撞擊三種意外情況動作，可觀察到意外發生時候的X、Y、Z 三軸變化，可設定警報的秒數，並可看到意外發生的紀錄。

26 實驗設計與結果 實驗環境與設備包含了加速度感測器(Wii Remote)及行動運算設備(嵌入式系統開發板)，而軟體部分，採用Linux作業系統，以C/C++ 和QT作為軟體開發環境撰寫應用程式，類似手機與藍芽耳機的連接方式，藉由藍芽兩端連線後，由行動運算設備端收集三軸加速度變化作為動作特徵分析。 實驗者共七人，分別建立自己的手勢，並紀錄使用手勢的辨識率，測試出動作辨識系統的precision、recall 還有matching rate 等實驗結果，驗證本系統可用性與可靠度。

27 實驗設計與結果(1) 在作了實驗，討論本系統的 precision 及recall 等統計參考，並提供不同情境下設定門檻值的依據，我們可以發現大多數的門檻值都在40%~50%左右，若設定適當的門檻值，就可得到不錯的辨識率，在不同的情境具有相當程度的可用性。 另外值得一提的是，對於水平、垂直的直線動作判斷準確性會降低，原因在於直線或水平移動對存在一定量的偏移(直線:左右偏移;水平:上下偏移)，對人是正常的偏移，對電腦判斷卻已經是不同動作變化，關於這點可在往後使用模糊理論改善判斷精準度。

28 結論 本系統結合近年熱門的動作辨識與開放嵌入式系統平台，使用加速度感測元件配合開發原創辨識演算法，收集不同動作之加速度變化資料，如在空中簽名等動作之加速度變化，計算分析出動作特徵，應用於生活各種情境中，如身分驗證、教學輔助、多媒體控制、安全照護的危險警報…等，提供多人使用後的實驗結果。 在日常生活中，可當作數位鑰匙、控制器…，使用不同門檻值篩選動態調整驗證的嚴謹度，降低門檻達到共享密碼或提高門檻加強驗證準確性，彈性在安全與便利性間調整使用，改善以往的人機介面、增進使用親合度，也利用嵌入式系統的可攜性與運算能力，架構成豐富的智慧型人機互動系統。

29 未來展望 系統未來可繼續擴展延伸應用在生活各種需求中，彈性改善人機介面，像是數位學習與教學輔助、居家看護與安全監控、無障礙設備改善、醫療復健輔助、虛擬實境與遊戲互動、多媒體與家電控制…等豐富的多元情境。 藉由本研究發展的辨識演算法與系統架構，作更多拓展延伸，結合其他如影像擷取、壓力感測等設備，日後若推廣商業普及使用，使用者僅需購買加速度感測器套件(像藍芽耳機)，並在手機等嵌入式系統平台安裝設計好的軟體服務，便可輕易享受到簡便親切的人機介面技術，讓本研究貢獻更多便利的數位生活應用。

30 謝謝聆聽