Similar Furniture Recommendation

3DINN

Server Side Skeleton Reconstruct

對想尋找的家具拍照,上傳至後端 Server 進行比對與骨架重建的動作,在骨架重建部分這裡使用了 3DINN structure,同樣是三段式訓練架構,差別是 Intrinsic properties 則是利用 2D keypoints 作為 Intermediate 來還原骨架數據。 此外根據家具類型的不同,我們也額外套用 Base shape 來提高預測速度與精準度,由於家具都具備其基本形狀(如椅子就是由椅背、坐墊、四肢椅腳所構成),僅在骨架長度、間距、擺角上有所差異,因此還原時便能從一個大致結果開始、針對 Keypoint 細節再做微調,比起從零開始預測能得到更優良的成果。

Skeleton Comparsion

事先將準備好供查詢的圖片集進行骨架重架,Input & Output datasets 分別置於 Local & Remote server 上。再將剛才拍照得到的骨架還原數據與 Server 端的資料庫做比對,回傳最接近的結果,呈現在 APP 上。 比對公式:計算目標與比對對象其數據的”加權差值”,提高骨架長度與間距的比重,同時降低家具擺角的比重(不同角度的拍攝依然視為同款家具)