Image-based 3D modeling 以二維影像資料重建三維物體模型 張鈞皓 蕭宥騰 裴家佑 Advisor: Damon Shing-Min Liu Department of Computer Science and Information Engineering, National Chung Cheng University, Taiwan Introduction 目前對於物體建模，使用者僅能以軟體手動描繪出物體的立體特性，相當的耗費時間；或是用三維雷射掃描器進行建模，雖然可以讓結果趨近於完美，但掃描器的價格過高，體積又大，一般的使用者並不易取得。 於是我們希望能讓使用者有較便宜迅速的方式取得物體的建模，用隨手可得的相機照取圖片後，使用多種影像處理及分析的方法將物體的3D模型自動的建立出來，並且可以讓使用者套用到各種地方，使立體建模可以更加的簡單與便利。 Methodology 輸入環場拍攝的物體照片，輸入bundler執行Structure From Motion 來找尋相機參數。讀取焦距、鏡頭的位置、長寬比等多項EXIF資訊以及相機轉動的資訊後，分析照片之間的相關性，將原本多張2D的照片還原成3D空間中相對的位置關係。最後bundler會輸出各個圖片與圖片之間的關係，以及圖片中點與點的相關性。 接著執行PMVS (Patch-based Multi-view Stereo)對圖像進行corner detector 及 Difference of Gaussian 做特徵點分析，並對特徵點進行三角化重建及擴展。 利用相鄰的面具有相似的法向量和位置的特性，逐步的擴展重建出其周圍的面。為了能夠及時發現出擴展錯誤點，再進行過濾處理，將灰度、幾何一致性較弱的面去除，最後產生 .ply點雲檔。 接著我們會使用meshlab中的ball-pivoting algorithm對物體的點雲檔進行表面重建，產生最後的模型。 執行後的點雲結果 Results 以下為拍攝15-20張照片進行處理後的輸出結果 Conclusions 拍攝了許多不同的物體進行測試，在物體特徵明顯下執行後的成果大致上都很不錯，但是當物體為前後性對稱或者表面較少特徵的物體，則建模過程會產生誤差而導致結果有失真的現象，我們檢討的結果如下： 1. 特徵不明顯的物體在使用SIFT時，因為無法在其表面 找出較明顯的點做為依據，故分析完後，會出現物體 上只出現少數特徵點而造成點雲分析的困難。 2. 當物體前後對稱時，物體因為在360度環場拍攝下， 造成在分析圖片時，會將所有相似圖片判斷為同一方 向來進行分析，而使得建模結果失真。 3. 因為光線與背景的關係，物體表面在分析時容易出現 雜點。 Reference Yasutaka Furukawa and Jean Ponce. “Accurate, Dense, and Robust Multi-View Stereopsis” To appear in IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009. Noah Snavely, Steven M. Seitz, Richard Szeliski. Modeling the World from Internet Photo Collections. International Journal of Computer Vision, 2007. Imagemagick (http://www.imagemagick.org/script/index.php) bundler (http://phototour.cs.washington.edu/bundler/) 不同角度照片之間與物體的關係