Domain Issue Problem
由於 Real image 會受到拍攝環境因素影響,使得 Real & Synthetic、兩種 dataset 各自訓練出來的架構無法混用
Learn More3DINN & Marnet & Vuforia
我們使用一個三段式的訓練架構,靈感來自於 MarrNet 和 3D-INN 兩種架構,先選定內部特徵作為真實與合成影像的中間點(Intermediate),以此為分界,前面以真實影像為輸入,輸出內部特徵,後面則以合成影像去重建三維模型,最後藉由 Reprojection Layer 比較 Ground-truth 和預測結果,將前後兩段訓練架構串接。 再來針對中間點的特性,我們額外進行骨架比較的三維重建,目標是藉由對物體進行骨架分析,結合物體具有固定型態的特性,能快速且相當精確地於資料庫中比對出最接近的結果,提供進行查找、搜尋相關物品的另一種可能。 最後是關於APP呈現的擴增實境方面,我們分別嘗試了 ARCore、Vuforia、Hybrid (綜合兩者)等方案,考量穩定性和實用性後,搭配 Unity 設計出一款 DM 商品三維模擬器的原型。
由於 Real image 會受到拍攝環境因素影響,使得 Real & Synthetic、兩種 dataset 各自訓練出來的架構無法混用
Learn More利用MarrNet三段式訓練架構將圖片轉換成模型並放入資料庫中,接著建立 Vuforia Engine 的 AR detection database 將圖片與模型變成一組一組的配對,最後使用 Unity 將兩者功能整合,透過拍照可以找出最相近的圖片,並從圖片端找到配對的模型顯示在螢幕上。
Learn More將拍入照片上傳至 Server 端進行骨架重建,找出在預先建立好的資料庫中最符合的配對,並將資訊回傳給 User 端
Learn More