體感技術與生活 盧育群 博士 網際網路技術實驗室 國立成功大學

大綱 何謂體感 體感應用 體感技術 2

何謂體感 人機互動 機器與使用者之間的互動關係 互動模式 傳統 – 滑鼠、鍵盤、搖桿 進階 – 紅外線感測、溫度感測等物理訊號 跳脫固有想法，以「人」為控制主體 3

何謂體感 「身體就是控制器」 - Natural Interaction 4

何謂體感 體感 (motion sensing) ，或稱軀體感覺。源自於五感：眼、 耳、鼻、舌、身，是觸覺、壓覺、溫覺、痛覺及本體感覺 ( 關於肌肉和關節位置和運動、軀體姿勢以及面部表情的感 覺 ) 的總稱。 體感技術 (motion-sensing technology) ，又稱動作感應技術， 能夠偵測、定位使用者的一舉一動，讓人不需要與機器直 接接觸，就能準確的對機器下達指令。 5

體感的演進 運用速度感測器與紅外線 技術，準確的感測遊戲者 的手臂動作。 運用慣性感測器控 制滑鼠指標。 Wii Nunchuk Controller Logitech Mx air Microsoft Kinect 運用紅外線發 射器，得到 3D 深度影像資訊，即時動作識別。 Sony eyetoy 2D 光學檢測。 CyWee 9 軸動作感測 模組。 6

何謂體感 體感的特色與魅力 直覺性 比起以往的遙控器及搖感，手腳並用的體 感動作，不需要太多的學習，就能更直覺 得進行操作了。 趣味性 互動性 體感技術讓使用者有身歷其境的感受，更 能帶給人們無限的新奇感。 體感裝置可以讓人更容易投入虛擬情境， 加強使用者與各種應用的互動。在各種聚 會場所中，可以活躍現場氣氛。 7

體感應用 體感主要應用在哪些領域？ 又會有怎麼樣的發展？ 8

體感應用 體感應用正走入多元領域， 深入我們的日常生活。 9

體感應用 未來，你就是控制器。 =player_embedded =player_embedded 10

體感應用 直覺的控制裝置 取代舊有操作模式，讓操作介面更人性化。 運動與遊戲的交互介面 設計各種不同遊戲或運動，可應用於教育學習、影音動畫、 遊戲開發及醫療復健等不同領域。 擴增實境 (Augmented reality, AR) -- 虛擬與現實的融合。 11

體感應用 : 控制操作 利用體感技術操控 PC 上的滑鼠與鍵盤。 操控簡報、家電。 更貼近一般使用者的操作需求。 12

體感應用 : 控制操作 CEATEC Japan 2008 – Hitachi 展出「手勢控制電視」系統。 =player_embedded#! =player_embedded#! 13

體感應用 : 控制操作 應用於銀行業互動式電子看板 由 ETRONIKA 公司開發 透過單手、雙手凌空操作視窗物件 d&v=TEnFhyOIlVA d&v=TEnFhyOIlVA 14

體感應用 : 運動與遊戲 運用體感技術，搭配不同領域的教學、醫療理念，可以設 計出更多元化的遊戲或運動介面，讓體感生活化，且更具 實用性。 教育學習影音動畫 遊戲開發醫療復健 15

體感應用 : 運動與遊戲 教育學習 健康與教學品質管理 影音動畫 擷取人體動作，套用至 3D 人物模型 遊戲開發 體感遊戲不斷推陳出新，讓玩家有更 多不同的想像空間 醫療復健 隔空操作無菌手術 16

體感應用 : 教育學習 訓練小學生多感官學習 提高學生對學習的興趣 兼具健康與教學品質管理 17

體感應用 : 教育學習 在學習應用上，簡單的透過有趣的肢體互動體感活動與遊戲， 各類教材均可促進學習者的動機與學習成效 針對模擬式（ simulation ）的學習而言，透過肢體的互動可以將 模擬的情境自 2D 的教材擴展至更類似真實的學習環境 18

體感應用 : 教育學習 教育學習 哈瑪星互動電子書 v=Pe-q6wkIM5c v=Pe-q6wkIM5c 19

體感應用 : 影音動畫 擷取人體動作，套用至 3D 人物模型 動作擷取讓虛擬人物生動了起來 20

體感應用 : 影音動畫 運用體感技術進行電影製作，與早期傳統動畫製作方法比 較起來，可大幅降低成本，並可帶來更多創新的想法。 21

體感應用 : 影音動畫 影音動畫 甲尚科技動畫新聞製作 22

體感應用 : 遊戲開發 Nintendo Wii 、 XBOX360 和 Play Station 3 Move 23

體感應用 : 醫療復健 身障者的職能訓練 隔空操作無菌手術 24

體感應用 : 醫療復健 德國康斯坦茨大學 (University of Konstanz) 的一些學生試著將 Kinect 用於盲人導航。他們將 Kinec 固定在一個頭盔上，當 Kinect 掃描到前 方有障礙物時，通過軟件的解讀，腰帶中的馬達會震動，並且會發 出轉向提醒。University of Konstanz 25

體感應用 : 醫療復健 復健醫療 ( 台北榮總 / 中央資工 ) 26

體感應用 : 擴增實境 展場廣告 擴增實境是未來廣告的趨勢，運用互動體感技術，可讓人們 樂在其中並留下印象深刻。 27

體感應用 : 擴增實境 購物 虛擬試衣間 28

體感應用 : 擴增實境 體感互動電子看板及展場裝置 讓人留下深刻印象 延長觀眾目光停留時間 由天工開物公司製作 29

體感技術 30

體感技術 如何讓機器得到身體姿勢 ? 應用需求 : 要取得哪一身體部位的定位資料 ? 手臂位置 / 揮動速度 身體重心 上半身 頭部 全身 31

體感技術 物理式運動感測技術 視覺式運動感測技術 體感式互動未來趨勢 32

體感技術 : 物理式運動感測 (1/4) 物理式運動感測技術 Animazoo 動作捕捉系統 ─ 使用 18 顆陀螺儀，精準計算人體骨 架角度變化。 配戴式標誌 ─ 在人體上配戴可被追蹤的感應點，配合感測器 定位。 33

體感技術 : 物理式運動感測 (2/4) 物理式運動感測技術 Wii Remote 由接收紅外線來定位 PS Move 則透過攝影機追蹤前端光球 加速度感應器 ─ 手把內另有三軸加速度計與陀螺儀等感應器 34

體感技術 : 物理式運動感測 (3/4) 使用感應器的體感互動 紅外線 Sensor Bar 可偵測到紅外線發射源。 加速計計算相對位移。 陀螺儀可偵測角速度變化。 紅外線接 收器 Nunchuk 連接頭 35

體感技術 : 物理式運動感測 (4/4) 利用感測器取得平移及旋轉的各種肢體動作，並將計算出 來的數值，對應到畫面中的反應，以期達到更直覺化的操 作。 : 人體空間中平移動作 : 人體空間中旋轉動作 36

體感技術 : 視覺式運動感測 攝影機 + 電腦視覺 (Computer Vision) General solution 操作者不須額外裝備標誌 可應用至全身各部位 使用電腦視覺技術解析攝影畫面 : 人臉偵測 人體骨架重建 37

體感技術比較 上述電腦視覺技術很早就被提出了，為什麼最近才有成熟 的商業應用 ? 像素改變 / 顏色追蹤 優點 便宜 設備容易取得 缺點 容易誤判 ( 相同顏色、不容易去背 ) 容易受環境影響 ( 顏色改變 ) 實體感與回饋較不足 38

體感技術比較 IR Camera 使用的動作偵測技術 利用生物會發出紅外線的特性進行去背 再搭配 Web Camera 的演算法進行處理 優點 可輕易進行去背，不易誤判 缺點 設備昂貴 不容易取得 39

體感技術 : 輸入裝置 深度影像 ( Depth Image ) 過去用以取得深度影像的攝影機 : Stereo Camera 計算左右影像的差異 Time-of-Flight Camera 計算光線飛行時間 40

體感技術 : 輸入裝置 Light Coding 投射出隨機圖樣的紅外線光點 由圖樣的位置與尺度計算深度 此技術由 PrimeSense 所持有 已商業化的產品 : Microsoft Kinect ASUS Xtion Pro/Pro Live 41

體感技術 Z-Camera 可取得的動作資訊 手部追蹤 (Hand Tracking) 手勢偵測 (Gesture Detection) 骨架偵測 (Skeleton Detection) 場景分析 (Scene Analysis) 42

體感技術 Microsoft Kinect 的骨架追蹤系統可以在感應器可視範圍內 主動追蹤最多兩位玩家的骨架。應用程式可取得 16 個骨架 關節位置 (skeleton joint positions) 。 43

體感技術 : 開發環境 OpenNI + NITE 人體偵測 手勢追蹤 定位人體節點 攝影機、麥克風 44

體感技術 : 開發環境 OpenNI+NITE C, C++ 跨平台 (Windows 、 Linux 、 MacOSX) ASUS Xtion Pro 原生支援 Microsoft Kinect 需安裝第三方驅動程式才可使用 骨架追蹤時需擺出定位姿勢 Kinect for Windows SDK C++, C#, Visual Basic Windows 7 Kinect 專用，可取得麥克風音訊及控制馬達 最多只可處理畫面中 2 個人體骨架 45

體感程式交流平台 OpenNI Arena 使用 OpenNI 架構開發的體感程式 非營利，可分享原始碼 46

體感程式交流平台 Kinect Fun Labs 實行於 Xbox360 平台的小遊戲或應用 技術展示 47

體感程式交流平台 Xtion Store 工研院與華碩等廠商共推 ( 尚未上線 ) 48

結論 目前此技術主要還是現身在博物館、美術館、展覽會 場、科技館以及國家大型項目中 行業別應用 保全監控 銀行 / 零售業電子看板 動畫製作 / 虛擬實境 教學及教育 醫療 輔具 體感技術 將逐漸潛入地球， 未來，你就是 控制器 ， 一切操之在 你 的手中。 49