輸入照片 顯示資訊及導引拍攝 點雲及尺寸資訊

輸出3D模型
Interactive Guidance and Navigation for Facilitating Image-Based 3D Modeling〔為促成影像為基底的三維建模之互動式指導系統〕
ABSTRACT:
We present an interactive guidance and navigation system that assists users in acquiring pictures for image based 3D modeling. To reconstruct an object’s 3D model, users follow our instruction to take a set of images for an object in different angles; we therefore calculate their relative viewing positions and spare point cloud data using structure from motion technique. After we obtain sufficient number of images, we use Patch-based Multi-View Stereo (PMVS) software to generate dense point cloud data. When displaying dense point cloud, we provide user an interface to eliminate those noise data points yielded from background construction or re-projection errors. Afterwards we reconstruct surface mesh as output. Our system provides informative message for failure while calculating camera poses and helps user how to resolve those problems. Furthermore, we assess the quality of camera poses reconstruction and generated point cloud to reveal the lack of angles for captured images and guide user to remedy those information.

SUMMARY (中文總結):
近來越來越多的應用需要物體的三維模型，舉凡遊戲、電影、擴增實境、三維印表機等等。以往這些模型皆由專業的繪圖師利用繪製，此舉不但需要專業的技術，更需要大量的時間。因此人們希望使用簡單且成本低廉的影像為基底的建模系統。但對於一般使用者而言，由於他們並不了解系統運作原理，因此很可能無法順利的取得足夠的影像資訊供建模系統建立完整的三維模型。故我們提出了一個以影像為基底的互動式建模系統，能夠導引使用者取得有用且足夠的影像來建立完整的三維模型；同時顯示出影像及物體的相關資訊，如影像的相對位置、現有資訊是否充足、物體大小等等。透過我們的系統，使用者可以即時的修正建模時產生的問題並補充不足的資訊，以確保可以建立物體完整的三維模型。

我們的系統包含三個主要的元件：

1. 導引使用者取得照片
系統會導引使用者對物體拍攝照片，確保可以完整的建立三維模型。當使用者輸入照片時，會即時的檢查使用者輸入的照片是否對建模有幫助，以及現有資訊是否充足。若是照片有問題，或是現有資訊不足以完整的建立三維模型，則系統會根據現在的狀況即時的提示並指引使用者解決問題。

2. 重建3D模型
當使用者取得足夠的照片之後，系統會利用輸入的照片及已知的相對位置關係來計算三維的點雲資訊。
待使用者對點雲資訊微調後，再利用點雲資訊來產生表面網格，如此一來便可得到物體的三維模型。

3. 估算物體尺寸
我們計算真實世界到虛擬世界的座標轉換，讓使用者只要點選虛擬的三維模型，即可知道物體實際的尺寸資訊。


PROJECT MATERIAL: (picture gallery, video, software demo, talk slides, etc.)
CITATION:
  • D.S.M. Liu and T.L. Chang, Interactive guidance and navigation for facilitating image-based 3D modeling, Proceedings of the 22nd International Conference in Central Europe on Computer Graphics, Visualization and Computer Vision, Plzen, Czech Republic, June 2014.