3D Furniture Model Display in AR Mode

Marnet & Vuforia

Construct 3D Model

使用 MarrNet structure 之三段式訓練架構,並以 normal, depth, silhouette 作為 Intermediate,其特色還包括運用了 TL-Network 來降低數據上的運算量,方便我們在重建速度上達到 Real time 的效能。 此外,原 MarrNet structure 生成的結果過於粗糙、格式也無法相容於 Unity 中,我們另外編寫了再處理程序,對生成的三維數據做格式處理,並有效地降低模型邊緣的鋸齒感。

Build AR Detection Database

Vuforia Engine 是由高通開發的一款擴增實境套件,只要給予圖片集,Vuforia cloud會自動抓取其圖片特徵,建立圖片特徵資料庫,未來只要將資料庫下載、結合Unity等APP開發引擎中,透過相機拍攝目標物件,Vuforia 便能辨識出其在資料庫中的編號,便能作相對應的圖片三維重建及後續應用。
 偵測圖片速度非常快,且精準度極高
 可結合如 ARCore、ARKit 等其他 AR 套件之功能

Integrate With Unity

有了前兩樣工具,我們便能透過 Unity 的輔助,讓安裝 APP 的手機相機具備圖片偵測功能,告知需使用 MarrNet 重建的家具物件,再使用 Vuforia 以 AR 形式呈現在手機螢幕上,同時加入簡單的互動功能,此外我們也結合 ARCore 的平面偵測功能,可以及時偵測使用者目前的空間、微調模型至適當尺寸,進行家具模擬擺設。