新一代3D立體顯示技術之研究及應用(II)

Presentation on theme: "新一代3D立體顯示技術之研究及應用(II)"— Presentation transcript:

1 新一代3D立體顯示技術之研究及應用(II)
立體顯示原理 靜態影像立體深度計算 動態影像立體深度搜尋 立體顯示轉換 應用與實驗 結論與未來展望

2 立體顯示原理 觀看立體顯示的方法: 視差遮障(Parallax Barrier)：
兩張立體圖片分別由對應的左右眼觀看，經由大腦自然融合後，就可讓物體浮現或凹陷深入場景的感知。 視差遮障(Parallax Barrier)： 利用左右影像插排融合技術，利用透光狹縫（Slit）與不透光遮障(Barrier）垂直相間的光柵條紋，放置於融合圖形之上，來限制左右眼分別看到左右影像，右圖為視差遮障型的立體顯示器。

3 靜態影像立體深度計算 CID法 (Computed Image Depth method)
1.切割適合的區塊，一般使用 16x16 block 2.計算Sharpness/Contrast各block，依強度分成三類 3.整合為距離強度，分成遠、中、近三類 4.轉換YCbCr作顏色屬性區塊整合 值 清晰度 對比度 高 3 中 2 低 1 分數 距離 6 近(Near) 4~5 中(Middle) 2~3 遠(Far)

4 靜態影像立體深度計算 Sharpness判別: Laplacian 3x3 Matrix Contrast判別:

5 動態影像立體深度搜尋 光流法 (Optical Flow Method) 光流搜尋
定義為在連續影像上各個圖素的亮度變化，可以是由空間中物體移動而產生亮度變化，亦可以由照明光線變動而產生的變化。 光流搜尋 1.計算 光流梯度/光流差： 2.MHI(motion history image)： 3.閉合處理(closing)得出光流量有效區域： 4.光流四步搜尋法與LSM：

6 動態影像立體深度搜尋 E x： ( (I2-I1) + (I4-I3) + (I6-I5) + (I8-I7) ) / 4
上一頁影像: A1 A2 A3 A4 A5 A6 A7 A8 A9 下一頁影像: B1 B2 B3 B4 B5 B6 B7 B8 B9 光流偵測: A1 = I1 、A3 = I2 A7 = I3 、A9 = I4 B1 = I5 、B3 = I6 B7 = I7 、B9 = I8 E x： ( (I2-I1) + (I4-I3) + (I6-I5) + (I8-I7) ) / 4 E y： ( (I3-I1) + (I4-I2) + (I7-I5) + (I8-I6) ) / 4 E t ：( (I5-I1) + (I6-I2) + (I7-I3) + (I8-I4) ) / 4

7 動態影像立體深度搜尋 前置處理 梯度量 差值量 閉合處理(closing)：
待處理影像先經過擴張(dilation)運算後再進行侵蝕(erosion)運算 MHI 光流有效區域

8 動態影像立體深度搜尋 四步搜尋光流 LSM判別法
搜尋區塊中心點與其鄰近相隔一半搜尋範圍點位置的八個區域，加上本身共有九個區域作為與要比較區塊的判別目標物搜尋的方向資訊。 LSM判別法 步驟一 步驟二 步驟四 步驟三

9 立體顯示轉換 觀察空間中某一點； 移動時差建立深度還原法:
在左眼看到位置在A點時，右眼因角度看到B點，這兩個位置在空間中是同一點，當那點移動後，由左眼觀看A點移動到C點時，B點也移動到D點，而ABCD四點恰巧會呈現直線相連的方式存在，也就是左眼的A至C點與右眼B至D點具有相同的圖素和向量方向的，因投影的關係在左平面和右平面位置不同。 移動時差建立深度還原法: 而當A點移動到C點會經過B點，這時A點和B點的關係就只差異一個時間差上，且等比率的也差異在C點和D點上，若令A點為t時間的點，C點為t+1時間的點時，B、D點就以A點加時間差和來表示。

10 立體顯示轉換 深度還原法調整 當移動量不大時，其 值太小，經觀察其立體視差效果不顯著，更動由原圖當左眼圖方式，符合在AC點運動向量方法內，變成創造新的左眼圖來加強深度感。但由於都由前一頁 點產生，產生的圖形左右對應有較嚴重的變形，故在改由下一頁 點來產生右眼圖點比較洽當，所以最後更動由 點旁的右眼圖。 新還原法 增強立體效果 近 中 遠 量 物件距離 左右眼移動方向 CID法調整

11 立體顯示轉換 移動上下頁光流點創造立體圖 移動左眼立體圖 移動右眼立體圖 由原圖當底圖疊上移動量 完整右眼立體圖 完整左眼立體圖

12 應用與實驗 實驗方法: 使用高解析640x480 以上的電影和動畫影像，經由本實驗各步驟轉換成立體影像後，使用sharp和DTI狹縫視差遮障型立體顯示器播放，觀察其立體效果，作為研究效果分析，顯示上因sharp在3D模式亮度衰減較小而有較佳的效果。 系統架構圖

13 應用與實驗 立體轉換前處裡: 取出影像各頁，濾波消除雜訊，並色彩轉換至Y、Cb、Cr，供後續處理使用。 前一頁 下一頁 Cb Y Cr

14 應用與實驗 靜態計算: 計算影像內清晰度和對比度，並依顏色屬性組合靜態深度，供深度還原法使用。 清晰度強度 銳利度強度 靜態深度圖
顏色屬性分類圖

15 應用與實驗 動態搜尋: 影像前後頁動態搜尋光流向量，得出光流近似深度，供深度還原法使用。 MHI 閉合有效圖 梯度圖 光流向量圖
光流近似深度圖

16 應用與實驗 依光流深度還原法製作左右眼圖，並由顯示器提供之軟體進行影像的插排融合(interlace)，再藉由線條遮障陣列顯示器（Barrier Arrays）的遮蔽效果觀看的立體圖。 (a)左眼圖 (b)右眼圖 插排立體圖

17 結論與未來展望 歸納總結以下研究結論： 深度資訊擷取: 影像應用性廣: 立體品質:
分析產生靜態深度結構，再加上光流法搜尋動態前後頁影像的移動向量，結合靜態與動態深度資訊，已可估出近似的影像深度。 影像應用性廣: 不需要真實的深度圖和其他相機参數設定，也不需要雙眼模式拍攝，一般影片的影像資料，經轉換成左右眼立體影片檔後，再透過立體顯示器播放，不需戴眼鏡即可呈現立體效果的影片。 立體品質: 利用新深度還原法製作出的立體影片，前景部分有浮出顯示畫面外視覺，與背景有明顯的空間距離感，大面積移動的物件也有景深的層次感，並不為只有單一深度的感覺，整體畫面構成已經有不錯的立體的感受。

18 結論與未來展望 未來的研究方向，可以朝向三個方面著手進行: 3D 顯示器或投影設備規格研究： 更精準的深度圖研究： 區塊移動補點研究：
現行使用顯示器3D模式或廠商提供的播放軟體，因每種3D顯示器顯示原理和硬體規格不同，而有立體感受差異，尚須研究每一類型規格，由自製的程式自動控制播放來訂定最佳顯示模式。 更精準的深度圖研究： 可自訂加入已知條件，如相機参數、光源點、景深比例，室內、走道、郊外各場景，在越多已知的條件下應可更準確的產生深度圖。 區塊移動補點研究： 若要讓3D顯示效果更佳，則變形和移動會更加劇烈，這時會產生許多空洞點、雜點，尋求一個良好的演算法，彌補失真降至最低，達到更立體清晰浮現的顯示。