現有三維模型重建使用的神經網路架構，大多從過去用來處理二維資料的 CNN 作修改而來，出於三維模型的特性和實際應用的取向，導致三維模型重建上目前有兩大問題尚待解決，一是真實二維影像（Real image）附有實際對應的三維模型（Ground-truth 3D shape）之數據量不夠，難以滿足深度學習需要的大量資料，二則是合適的儲存方式，將直接影響計算上的速度與進行延伸應用的難度。

找出真實影像與合成資料的一致處，例如深度（Depth map）、表面法向量（Surface normal）、骨架（Skeleton）等，這些不受材質與環境光影響的內部特徵（Intrinsic images），用其作為數據訓練出的Model。先將真實影像轉成對應的內部特徵，再從內部特徵去預估三維模型，最後以合成影像中的實際三維模型作回推（Reprojection）。