MarrNet使用單一2D圖片建構3D模型

3D Shape Reconstruction普遍的方法是使用具有景深探測功能的camera,例如Kinect,來抓取大量不同角度的景深以進行3D建模,而此種方法不但耗費資源且物體細部準確度不高。近年,試圖使用單一2D圖片建構3D模型的研究開始盛行,除了傳統的重構方法以外,亦有不少使用了深度學習網路,但目前的方法對於圖像大小或是domain adaption仍有諾大的限制。最近一篇NIPS 2017 paper是利用GAN將2.5D建構成3D

此篇來自MIT CSAIL的end-to-end model: MarrNet,將2D建構3D的方法拆成兩的步驟:2D to 2.5D estimation 以及 2.5D to 3D reconstruction,各涵蓋了一個encoder-decoder network

其結果如下圖:

除了椅子,作者們也將之測試在汽車與飛機上,他們發現利用多種類別的物體來訓練會有較好的效果。

Share the joy
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  

近期文章

近期迴響

彙整

分類

其它

tzuchanchuang Written by:

Be First to Comment

發表迴響

你的電子郵件位址並不會被公開。 必要欄位標記為 *