A Closed-form Solution to Photorealistic Image Stylization

圖像風格轉換是一個非常經典的題目,給定一對基底圖像 X 與風格圖片 Y ,在保留 X 內容的同時將 X 轉換為 Y 的風格。

在 neural artistic style transfer [1] 問世之前,傳統採取的方法多是調整 histogram ,但通常無法做風格差異較大的轉換,而 neural artistic style transfer 與 CNNMRF [2] 等 neural-based 的方法雖然可以生出非常有趣的結果,但經常會出現「將不相關的物體做錯誤的轉換」的現象 (例如將雲誤認成草地而轉成綠色) ,或是生成的圖像中有輕微甚至強烈扭曲。

接著 deep photo style transfer [3] 出現,已能將以上問題大致解決,但卻有生成速度的問題,在使用 NVIDIA Titan X 的狀況下,每生成一張 1024x512 圖像需要耗時 650 秒 (數據來自本次介紹的 Nvidia paper) 。

這篇由 Nvidia 發表的 A Closed-form Solution to Photorealistic Image Stylization 將 state-of-the-art 推向新的高度,不僅可以生成細節更清晰的結果、在 human evaluation 上贏過 deep photo style transfer ,生成單張影像的時間更只需要 11 秒 (同樣使用 NVIDIA Titan X ) 。

Code: https://goo.gl/q2nNGJ
Paper: https://arxiv.org/abs/1802.06474

[1] A Neural Algorithm of Artistic Style, (2015), https://arxiv.org/abs/1508.06576
[2] Combining Markov Random Fields and Convolutional Neural Networks for Image Synthesis, (2016), https://arxiv.org/abs/1601.04589
[3] Deep Photo Style Transfer, (2017), https://arxiv.org/abs/1703.07511

Share the joy
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  

近期文章

近期迴響

彙整

分類

其它

HubertLin Written by:

Be First to Comment

發表迴響

你的電子郵件位址並不會被公開。 必要欄位標記為 *