Human Computer Interaction: KINECT Sensor

Presentation on theme: "Human Computer Interaction: KINECT Sensor"— Presentation transcript:

1 Human Computer Interaction: KINECT Sensor

2 前言 Kinect for Xbox 360，簡稱 Kinect（原始開發代號為「Project Natal」，意為誕生計畫），是由微軟開發，應用於 Xbox 360 主機的周邊設備。它讓你不需要透過控制器，而是使用語音指令或手勢來操作 Xbox 360 的系統介面。它也能捕捉玩家全身上下的動作，讓你用身體來進行遊戲，帶給玩家「免控制器的遊戲與娛樂體驗」。 2009 年 6 月 1 日微軟於 E3 遊戲展中公佈名為 Project Natal ( 誕生計畫 ) 的感應器，它能夠捕捉使用者的肢體動作，或是進行臉部辨識。感應器也內建麥克風，可以用來識別語音指令。此感應器相容於所有 Xbox 360 主機，玩家只需新購此感應器就可直接使用。 2010 年的 E3 電玩展，微軟宣佈 Project Natal 的正式名稱為 Kinect

3 KINECT技術原理(一) 三個主要擷取功能 彩色影像 3D深度影像 聲音訊號
Kinect中間的鏡頭是攝影機、左右兩顆鏡頭則是3D深度感應器；同時具有追焦功能，底座馬達可左右旋轉27度。此外還有陣列式麥克風。（圖片來源：Games Blog）

4 KINECT規格

5 Before Kinect 深度資訊取得方式 立體視覺 time-of-flight 價格昂貴 處理速度 易受雜訊干擾

6 KINECT Sensor架構 Kinect的架構圖（引用PrimeSense解說圖）。（圖片來源：PrimeSense）

7 KINECT技術原理 (一) Kinect可同時獲取彩色影像、3D深度影像、以及聲音訊號（引用PrimeSense解說圖）。（圖片來源：PrimeSense）

8 KINECT技術原理(二) PrimeSense <Light Coding>
利用連續光（近紅外線）對測量空間進行編碼，經感應器讀取編碼的光線，交由晶片運算進行解碼後，產生成一張具有深度的圖像。 以紅外線發出人眼看不見的class 1雷射光 透過鏡頭前的diffuser（光柵、擴散片）將雷射光均勻分佈投射在測量空間中 再透過紅外線攝影機記錄下空間中的每個散斑，擷取原始資料後，再透過晶片計算成具有3D深度的圖像。 它能在各種室內照明條件下工作（包括一片漆黑和非常明亮的房間） 影片展示

9 KINECT技術原理(三) Light Coding是以發射紅外線產生散斑，透過感應器紀錄訊號後，交由晶片運算出深度圖像。（圖片來源：PrimeSense）

10 KINECT技術原理(四) 骨架追蹤 透過Light Coding技術所獲得的只是基本的影像資料，重點還是要辨識影像，轉換為動作指令
同時辨識6人，包含2人的動作追蹤 每人能追蹤20個點 能讓Xbox LIVE Avatars虛擬人物與使用者動作同步

11 KINECT技術原理(五) Human Motion-Capture for Xbox Kinect

12 KINECT技術原理(六) What the team did next was to train a type of classifier called a decision forest, i.e. a collection of decision trees. Each tree was trained on a set of features on depth images that were pre-labeled with the target body parts. That is, the decision trees were modified until they gave the correct classification for a particular body part across the test set of images. Training just three trees using 1 million test images took about a day using a 1000-core cluster.

13 KINECT技術原理(七) More information: Pre-print (Pdf) of the paper
All about Kinect - an in depth exploration of its technology and a showcase of its uses Getting Started with PC Kinect Using the Kinect gets much easier

14 KINECT技術原理(八) Passive vision: stereo camera
Active vision: kinect sensor

15 KINECT應用展示 Kinect for Windows 創意應用競賽 決賽得獎作品 Kinect Controls Windows 7
Kinect as a Nintendo controller on the PC Avatar Kinect Shadow Puppet Quadrotor Autonomous Flight and Obstacle Avoidance with Kinect Sensor OpenKinect - Keyboard Anywhere RGBDemo v0.3 experimental scene reconstruction with Kinect Transform yourself to Ultra Seven by Kinect 12 Best Kinect Hacks

16 KINECT應用領域 HCI Augmented Reality Automatic Navigation

17 開發教學 01. Kinect SDK 介紹與開發環境安裝 Kinect for Windows 應用程式開發