先前技術檢索 – 論文 (作法比較)  本專利 Structure from Motion

Presentation on theme: "先前技術檢索 – 論文 (作法比較)  本專利 Structure from Motion"— Presentation transcript:

1 先前技術檢索 – 論文 (作法比較)  本專利 Structure from Motion
Content-Preserving Warps Automatic Depth Map depth image-based rendering disparity map Stereoscopic 3D from 2D Video with Super-Resolution Capability Sebastian Knorr, Matthias Kunter and Thomas Sikora, 2008  Consistent Depth Maps Recovery from a Video Sequence Guofeng Zhang, Jiaya Jia, Tien-Tsin Wong, Hujun Bao Semi-automatic Stereo Extraction from Video Footage Moshe Guttmann, Lior Wolf, Daniel Cohen-Or Content-Preserving Warps for 3D Video Stabilization Feng Liu, Hailin Jin, Michael Gleicher, Aseem Agarwala 2D-to-3D Conversion by Using Visual Attention Analysis Jiwon Kim, Aron Baik, Yong Ju Jung and Dusik Park Dimensionalization™: Converting 2D films to 3D Andrew P. Van Pernis and Matthew S. DeJohn 3D from Compressed 2D Video Ianir. A. Ideses, Leonid. P. Yaroslavsky, Barak Fishbain, Roni Vistuch Automatic Video to Stereoscopic Video Conversion Efrat Rotem, Karni Wolowelsky, David Pelz Synthesis of Stereoscopic Views from Monocular Endoscopic Videos Jin Zhou, Qiang Zhang, Baoxin Li, Ananya Das 本專利

2 先前技術檢索 – 論文 作法 標題 SfM, DIBR
Stereoscopic 3D from 2D Video with Super-Resolution Capability bundle optimization and temporal coherency depth map Consistent Depth Maps Recovery from a Video Sequence Depth map, diffusion scheme, and classification scheme Semi-automatic Stereo Extraction from Video Footage content-preserving warps Content-Preserving Warps for 3D Video Stabilization DIBR and Visual Attention Analysis 2D-to-3D Conversion by Using Visual Attention Analysis Depth map Dimensionalization™: Converting 2D films to 3D Depth map and MPEG motion vector 3D from Compressed 2D Video Planer transformation Automatic Video to Stereoscopic Video Conversion SfM and linear interpolation on dense disparity field Synthesis of Stereoscopic Views from Monocular Endoscopic Videos

3 先前技術檢索 – 論文 Stereoscopic 3D from 2D Video with Super-Resolution Capability 期刊年份：2008, Signal Processing: Image Communication, Amsterdam 作法：SfM and DIBR 此論文以單眼的相機產生多重視角影片(multi-view video)。藉由相機的移動路徑算出相機的位置，在每個時間點的相機位置左右各產生一排虛擬相機，這些虛擬相機相當於好幾個view。計算場景個點的深度。最後用Depth Image-Based Rendering生成影像。 虛擬相機的生成在本論文中有採用，因此本論文也可以生成很多個view。

4 先前技術檢索 – 論文 Consistent Depth Maps Recovery from a Video Sequence
期刊年份：2009, IEEE Transactions on Pattern Analysis and Machine Intelligence 作法：bundle optimization and temporal coherency depth map 此論文和其他multi-view stereo不同的地方在於不僅強調圖片一致性(photo consistency)的限制，還有幾何的連貫性。可以維持重建的depth map的temporal coherence。方法如下: Iterative optimization scheme Initialize the disparity map by using a segmentation of prior Refine: 用bundle optimization的方式調整disparity。 對重建的產生的noise，不定義成看得見的參數，而把它模擬成可見的機率模型。

5 先前技術檢索 – 論文 Semi-automatic Stereo Extraction from Video Footage
期刊年份：2009, IEEE International Conference on Computer Vision 作法：Depth map, diffusion scheme, and classification scheme 此論文以讓使用者在shot的第一個frame和最後一個frame大略定義某些物體的深度值，系統會用一些擴散或是分類的方式將整段shot每個frame的深度值都算出來。 我們的做法和此系統最大的差異就是不需要使用者的提示，我們也可以將深度值自動算出來。

6 先前技術檢索 – 論文 Content-Preserving Warps for 3D Video Stabilization
期刊年份：2009, ACM Transactions on Graphics 作法：Content-preserving warps 此論文用least-square optimization來計算空間變化的形變(spatially-varying warp)。這個形變是根據兩個規則: 一個是重建3D結構中的特徵點移動距離不會太大，另一個則是避免破壞內容(例如直立的棍子不能因為形變而扭曲)。 本論文僅採用其形變部分的技術。

7 先前技術檢索 – 論文 2D-to-3D Conversion by Using Visual Attention Analysis
期刊年份：2010, Stereoscopic Displays and Applications 作法：DIBR and Visual Attention Analysis 此論文不需要使用者提示深度即可將影像深度算出。透過分析人類視覺注意的部分，此論文將人們注視的地方做深度的調整或強調，因此有些情況比一般3D影片的立體效果還要好。

8 先前技術檢索 – 論文 Dimensionalization™: Converting 2D films to 3D
期刊年份： 2008, Stereoscopic Displays and Applications 作法：Depth map 此論文為早期的2D影片轉3D影片的系統，需要使用者提示深度值，按照使用者給定的深度值去計算disparity。

9 先前技術檢索 – 論文 3D from Compressed 2D Video
期刊年份： 2007, Stereoscopic Displays and Applications 作法：Depth map and MPEG motion vector 此論文在訊號系統下計算各特徵點的移動向量，來判斷前景的物體和背景，經由觀察整段影片來猜測每個物體的深度順序。藉以產生3D景深。 此缺點為有鬼影。

10 先前技術檢索 – 論文 Automatic Video to Stereoscopic Video Conversion
期刊年份：2005, Stereoscopic Displays and Applications 作法：Planer transformation 此論文希望用影片相鄰的frame來形變，產生某一個frame的stereo影像的pair。因此要選哪個frame當pair，還有考慮pair中的disparity就很重要。 此想法很可以加速stereo影像生成的效率，本論文也有嘗試其想法。 這是第一個想要將虛擬影像作形變的論文，可惜這邊僅將pair的一個虛擬影像作形變。不過這也讓我們有了用形變的影像當作虛擬左右眼影像的想法。

11 先前技術檢索 – 論文 Synthesis of Stereoscopic Views from Monocular Endoscopic Videos 期刊年份：2010, IEEE Computer Society Conference on Computer Vision and Pattern Recognition 作法： SfM and linear interpolation on dense disparity field 此論文也是讓一張影像變為3D影像。藉由SfM算出各個特徵點的移動，得知disparity的差別，最後再用內插法得知所有的特徵點的disparity。利用disparity可以生成虛擬的stereo pair image。