Domain Issue Problem

三段式訓練架構

由於 Real image 會受到拍攝環境因素影響,使得 Real & Synthetic、兩種 dataset 各自訓練出來的架構無法混用
Real Image: 缺乏 Ground truth 3D shape 提供訓練
Synthetic Data: 因為 Domain issue,其結果無法套用在真實影像上,等同沒有實際利用價值
有鑑於不同 Domain 帶來的麻煩,三段式訓練架構便是希望從這兩種資料集中,找出共同、不具 Domain 的特性,藉由此性質迴避掉 Domain issue problem。

Real & Synthetic Images

Intermediate

(1) 2D image -> Intermediate
(Real image as input)

(2) Intermediate -> Specific kind of 3D shape
(Synthetic data as input)

(3) Reprojection: Estimated 3D shape -> Intermediate
(Synthetic data, with ground truth 3D shape data)

Intermediate: Use Intrinsic object properties
相較於傳統重建上,這裡多了一層 Intermediate 來聯繫 Input dataset & predicted output,而由於作為 Intermediate 的 Intrinsic properties 為無關環境因素,純粹與物體本身有關的內部性質,如深度、法向量、骨架等,因此以此作為 input 訓練的結果,便不具有 Domain issue 的問題。

Three-stage Training Archtecture

三段式訓練架構的關鍵在於,訓練上會將 Input 轉為 no domain 的 Intrinsic properties 作為 Intermediate,實際上做 Predict & loss updating 訓練的是 Intermediate & output layer,由於 Intrinsic properties 不受 Domain 影響,這段結果自然不分 Dataset 種類皆可適用,如此 Input 無論是 Real or Synthetic datasets,只要一律先轉換成 Intrinsic properties,便能得出當初訓練完所預期的成果。

Application

配合我們 APP 的需求,我們參考了兩篇運用三段式訓練架構的 Paper,《MarrNet 3D Shape Reconstruction via 2.5D Sketches》、《3D Interpreter Networks for Viewer-Centered Wireframe Modeling》,作為重建家具三維模型與骨架的數據來源。