指導教授：蔣依吾 教授 研究生：顏俊育 國立中山大學資訊工程系

Presentation on theme: "指導教授：蔣依吾 教授 研究生：顏俊育 國立中山大學資訊工程系"— Presentation transcript:

1 指導教授：蔣依吾 教授 研究生：顏俊育 國立中山大學資訊工程系
以實際影像序列為依據 之人臉動作模擬 指導教授：蔣依吾 教授 研究生：顏俊育 國立中山大學資訊工程系

2 第一步驟 人臉 ) ,..., , ( L R 不同時間的 連續影像 CCD 同時間的 左右影像 深度 ) , ( z y x
2 1 n t L R 不同時間的 連續影像 CCD 對 前一張 後一張 特 徵 區 塊 擷 取 應 Delaunay 分割 前一張 後一張 同時間的 左右影像 深度 ) , ( 1 t z y x 比 對 與 立 標準影像人臉3D資訊 和運動向量資料庫 ３度空間模型 Motion vector 比 對

3 3D人臉模型建立方法 幾何曲線 簡單圖形 Copyright 1988 Pixar

4 雷射掃瞄系統 硬體

5 立體成像 立體成像公式 其中 Z=深度 λ=攝影機焦距 B=攝影機鏡頭距離 X2-X1=影像中對應點X座標差

6 圖學：非由真實人臉直接得出，因此不真實。 浪費人力，不同人需建立不同模型。
雷射：會有資料遺失，無法掃瞄動態物體，且 有危險性。 硬體：費時，且機器貴。 立體成像：對應點不易取得。

7 人臉動作模擬 內插法 藉由數學方法取得特徵點變動

8 感應器(sensor) 利用亮點、感應器取得特徵點變動

9

10 Simulation 靠人的經驗，由人工模擬人表情動作

11 內插法：需事先建立許多不同表情，因此需記 錄大量資料。
Motion Capture：人臉表情細膩，不適合貼太 多感應器。 Simulation：靠人經驗模擬人臉肌肉，不比由 真實人臉取得真實，且費時。

12 實驗步驟 取得左右兩個影像序列 左攝影機 右攝影機

13 空間域 自動取得四個角落座標和 手動取得臉上三個特徵點 左右兩張影像

14 取得邊界上的六個特徵點

15 靜態取得適當灰階臨 界值，得到二元圖 使用連接區塊觀念， 取臨界值，得到下圖

16 邊界對應

17 DELAUNAY 三角化初始圖 紅點為取得 初始特徵點

18 使用三角形區塊對應方法 取得特徵點對應

19 A1 A2 A3 A4 A5……………….An B1 B2 B3 B4 B5………………. Bn B1 A1 B2 B3 A2 A3
標準影像 A1 A2 A3 A4 A5……………….An 測試影像 B1 B2 B3 B4 B5………………. Bn B1 A1 B2 B3 A2 A3

20 DELAUNAY 三角化結果 立體成像公式 其中 Z=深度 λ=攝影機焦距 B=攝影機鏡頭距離 X2-X1=影像中對應點X座標差

21 時間域 藉由同一攝影機不同時間連續兩張影像取得特徵點對應，方法如上述，取得對應點間向量位移。 資料庫 標準影像3D資訊和位移向量

22 資料庫資訊使用 標準影像 測試影像 比對結果

23 測試影像和標準影像特徵點比對完畢，即可建立3D測試影像模型。
測試影像特徵點結合標準影像位移向量，即可模擬標準影像表情。 為得到連續測試影像需轉移其他非特徵點資訊。

24 A1 A2 A3 A4 A5……………….An Z1 Z2 Z3 Z4 Z5……………….Zn
標準影像 A1 A2 A3 A4 A5……………….An 深度 Z Z2 Z3 Z4 Z5……………….Zn 測試影像 B1 B2 B3 B4 B5……………….Bn

25 A1 A2 A3 A4 A5……………….An a1 a2 a3 a4 a5……………… .an
標準影像 A1 A2 A3 A4 A5……………….An 上一張 a1 a2 a3 a4 a5……………… .an 下一張 測試影像 B1 B2 B3 B4 B5……………….Bn 上一張 b1 b2 b3 b4 b5……………… .bn 待求

26 利用bilinear轉換

27 由 代入 得 得