指導老師：林偉川 開發團隊：鄭雅云、劉翔文、陳柏文、李依璇 德明財經科技大學資訊科技系 2015/12/11

Presentation on theme: "指導老師：林偉川 開發團隊：鄭雅云、劉翔文、陳柏文、李依璇 德明財經科技大學資訊科技系 2015/12/11"— Presentation transcript:

1 指導老師：林偉川 開發團隊：鄭雅云、劉翔文、陳柏文、李依璇 德明財經科技大學資訊科技系 2015/12/11
教育部資通訊軟體創新人才推升推廣計畫 「智慧終端與人機互動創作專題競賽」報告 指導老師：林偉川 開發團隊：鄭雅云、劉翔文、陳柏文、李依璇 德明財經科技大學資訊科技系 2015/12/11

2 大綱 作品動機與簡介 需求分析 系統設計 系統測試

3 作品動機與簡介 開發動機 作品簡介 系統範圍

4 作品動機與簡介－開發動機 機器人被應用的層面越來越廣泛。 例如：清潔機器人、工廠的機器手臂等。
解決傳統遙控器或是一般的控制介面無法完成的動作。 設計出利用體感操控機器人

5 作品動機與簡介－作品簡介 機器人動作偵測回應系統利用和Kinect偵測使用者的動作結合智慧型人型機器人來達到控制機器人的目的。使用者可以在螢幕上看到Kinect偵測到的動作骨架，然後藉由藍牙將動作傳輸給機器人進行操控，並透過網路攝影機偵測機器人的動作來監控機器人是否有正常運作 Kinect體感技術結合機器人，讓機器人能偵測人的動作而做出同樣的動作，希望藉此雛型能驗證藉由體感互動技術操控機器人。

6 作品動機與簡介－系統範圍 當Kinect感測到有使用者時，Kinect影像鏡頭和深度鏡頭會將感測到的使用者關節節點之X、Y、Z軸座標給電腦，我們用這些節點繪製成骨架，再用公式去計算出骨架之間的角度，並換算成控制伺服馬達的數據並可上傳到資料庫 透過Wi-Fi將數據傳給Arduino，Arduino再將接收到的數據透過HC-05藍牙模組傳給機器人RQ-Huno的藍牙，讓機器人做出使用者的動作。 當機器人動作時，IP Cam會截圖並將路徑上傳資料庫，並利用顏色過濾來判斷動作的四肢。 使用者利用介面按鈕進行動作錄製後，電腦可從資料庫取回使用者的動作紀錄進行回播，並可利用手機APP控制機器人動作紀錄及撥放，以指揮機器人做出人先前所作的同樣動作。

7 需求分析 需求功能說明 系統效能、可用性系統軟硬體架構說明

8 需求分析－需求功能說明 使用者只須站在Kinect前面展示動作，不需任何機器操作 使用者可使用動作錄製與回播功能
監控者可利用遠端方式進行監控 監控者可利用查詢頁面查看動作紀錄 使用者可利用APP回播動作

9 需求分析 －系統效能、可用性 系統效能:動作資料傳輸時間延遲在1秒以內、機器人動作正確率60%以上、IP Cam偵測正確率60%以上
可用性:除了記錄動作與回播動作外，使用者完全無須在身上穿戴任何套件，無須用按鈕操控機器人，只需在Kinect能偵測到的範圍內做出動作，就可使機器人動作。

10 需求分析 －系統軟硬體架構說明

11 需求分析 －系統軟硬體架構說明 體感互動子系統 利用Kinect體感互動系統偵測使用者並繪製出使用者的骨架，當使用者做出動作後，藉由使用者骨架間的角度換算成數據透過筆電藍牙裝置傳給機器人系統。 機器人子系統 當體感互動系統感測到使用者的動作，並將數據傳給機器人系統，機器人系統控制伺服馬達讓機器人做出相對應的動作。 遠端監控子系統 透過網路監控機器人與使用者的現況。當機器人動作異常或是延誤的時，透過網路攝影機IP Cam讓觀測者可以取得即時影像。

12 系統設計

13 系統設計 －介面設計 Kinect 連接介面 Comport選擇及連接 十六個關節馬達 人體骨架顯示畫面 按鈕功能－ 預設：
記錄：開始錄製動作 停止：停止錄製動握 播放：回播已錄製之動作 清除：清除動作資料

14 系統設計 －介面設計 監控介面 偵測狀態顯示畫面 啟動連接及移動偵測 顏色選擇器 文字顯示偵測狀態

15 系統設計 －資料庫設計

16 系統測試

17 系統測試－動作感應測試(1)

18 系統測試－動作感應測試(2)

19 系統測試－監控端移動偵測(真人)

20 系統測試－監控端移動偵測(機器人)

21 系統測試－監控端顏色偵測 項目/判定 距離 測得次數/測試次數 正確率 說明 右手(藍色) 50cm 10/10 100%
　　顏色過濾之移動正確率較低之因素：機器人非真人比例之尺寸，使得機器人執行動作幅度較小，加上距離影響與光線影響顏色變化，使動作之移動程度皆在程式判斷的可容忍範圍內，故1公尺以上之距離的偵測反應程度較低甚至無偵測反應。 1m 7/10 70% 2m 3/10 30% 左手(紅色) 9/10 90% 6/10 60% 1/10 10% 右腳(綠色) 左腳(黃色) 8/10 80% 0/10 0%

22 系統測試-Kinect與IP Cam整合測試
左上為IP Cam顏色過濾畫面，右方為Kinect介面，左下為側錄畫面。

23 系統功能說明展示 體感互動子系統 遠端監控子系統 資料查詢 Android APP端

24 體感互動子系統 選好Com Port後按下Start Video就會出現Kinect的攝影畫面和用程式繪製出的骨架圖，按下StartConnect後即可控制機器人。 人體骨架 實測畫面

25 體感互動子系統 選好Com Port後按下Start Video就會出現Kinect的攝影畫面和用程式繪製出的骨架圖，按下StartConnect後即可控制機器人。 人體骨架 實測畫面

26 遠端監控子系統 移動偵測

27 四肢顏色偵測

28 資料查詢 我們提供一個能讓使用者檢視已存入資料庫中的資料。 首先要先登入(如左圖)，選擇要查詢的時間範圍，就可檢視資料庫的資料(如右圖)

29 Android APP端 在IP的地方打上IP Address後按下確認後，按下start或stop可以開始錄製或是停止錄製，按下play可以讓機器人撥放使用者所錄製的動作，按下showimage可以顯示IP Cam存進資料庫的影像

30 顯示圖片展示

31 Thank you