Deep Photo Style Transfer

今天要為大家隆重介紹的是一個禮拜Github衝破5000顆星,兩天內Hacker News上衝破1000點的Deep Photo Style Transfer。這是一個可以同時複製參考照片的風格到原始照片的方法,舉例來說如下圖:

從左到右分別為:原始拍的照片(春天)、參考圖片(秋景) 、最後模型輸出的結果

讓我們再看一個例子:

從左至右為:原始圖片(香水罐)、參考圖片(火焰)、輸出圖片(火焰風格的香水罐)

 

有沒有覺得很神奇呀!?那這和之前介紹的Neural Art系列(1,2)有什麼不同呢?最大的不同在於Neural Art系列的方法沒有辦法有效保持原有照片的結構,也就是說原有照片在風格轉換的過程中會失真,這是之前幾乎所有Neural Art系列的共同問題,最後產出的照片會像是用“畫的”而不是像真的"照片"。讓我們直接看一張圖就會明白:

這邊由左到右依序為:原圖、參考圖、Neural Art(註1)的輸出、CNNMRF(註2)輸出、Deep Photo Style Transfer輸出

如果我們仔細看Neural Art會在邊緣的地方無法保真,而CNNMRF則沒有辦法在材質上做到保真,但Deep Photo Style Transfer在以上兩個面相失真的最少。更多的細節實作和驚人的成果請參考:

 

原始論文:Deep Photo Style Transfer (code)

註1:這裡用的是Gatys et.al 2016 "Image Style Transfer using Convolutional Neural Network"

註2:這裡用的是 Li et.al 2016 "Combining markov random fields and convolutional neural networks for image synthesis"

Share the joy
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  

近期文章

近期迴響

彙整

分類

其它

kuanchen Written by:

Be First to Comment

發表迴響

你的電子郵件位址並不會被公開。 必要欄位標記為 *