Category: 木刻思專欄

March 30, 2017 / / Deep Learning

今天要為大家隆重介紹的是一個禮拜Github衝破5000顆星,兩天內Hacker News上衝破1000點的Deep Photo Style Transfer。這是一個可以同時複製參考照片的風格到原始照片的方法,舉例來說如下圖: 從左到右分別為:原始拍的照片(春天)、參考圖片(秋景) 、最後模型輸出的結果 讓我們再看一個例子: 從左至右為:原始圖片(香水罐)、參考圖片(火焰)、輸出圖片(火焰風格的香水罐)   有沒有覺得很神奇呀!?那這和之前介紹的Neural Art系列(1,2)有什麼不同呢?最大的不同在於Neural Art系列的方法沒有辦法有效保持原有照片的結構,也就是說原有照片在風格轉換的過程中會失真,這是之前幾乎所有Neural Art系列的共同問題,最後產出的照片會像是用“畫的”而不是像真的”照片”。讓我們直接看一張圖就會明白: 這邊由左到右依序為:原圖、參考圖、Neural…

March 29, 2017 / / Deep Learning

這是和Google Fast Multi-Style Transfer 同期(註1)的一篇作品,主要也是試圖解決混合多種畫風到圖片上的問題。和Google不同的是:作者提出了另外一個叫Adaption Instance Normalization的方法來處理這個問題。 作者認為這個方法比google Conditional Instance Normalization好的地方在於當需要混合的Style數量很大時,需要訓練的參數並不會線性增長。此外,這也是第一個可以Realtime混合多種Style到圖片上的方法,其速度(註2)是Neural Art始祖[1]的720倍,更多細節請參考 原始論文:Arbitrary Style Transfer in…

Adversarial Autoencoder (AAE) with PyTorch : Autoencoder是深度學習中屬於非監督式學習的重要框架,而本文主角AAE則是引入了GAN的概念來改善VAE中KL divergence積分以及離散先驗分配的問題,此篇教學文將先介紹 dAE 與 VAE,再透過實作讓我們更直接的認識AAE。 [Link] https://blog.paperspace.com/adversarial-autoencoders-with-pytorch/?utm_campaign=Revue%20newsletter&utm_medium=Newsletter&utm_source=revue [Paper] https://arxiv.org/abs/1511.05644  

March 28, 2017 / / Catastrophic Forgetting

Deepmind又一最新力作,克服了網絡學習的「災難性遺忘」問題:當你讓一個模型學會A,又再讓他學會B時,他已經忘記了A怎麼做。而理論上,當參數空間足夠大時,就讓我們可能找到一組兼容A與B的配置。出於這樣的直覺,Deepmind對這一個經典的問題提出了一個解決方案。此文將扼要地說明論文的內容與背景。 [Link] http://rylanschaeffer.github.io/content/research/overcoming_catastrophic_forgetting/main.html [Paper] http://www.pnas.org/content/early/2017/03/13/1611835114.full.pdf  

March 26, 2017 / / AndrewNg

Andrew Ng 曾說過 Transfer Learning 將是機器學習商業應用的下一個驅動力。此篇文章從 Transfer Learning 的重要性帶到目前主要的情境與技巧,最後再整理相關研究方向,快速的帶我們一覽目前 Transfer Learning 的進程。 [Link] http://sebastianruder.com/transfer-learning/ 這份連結中,包含了非常非常完整的 Transfer…

March 26, 2017 / / Codes & Projects

在2015年Gatys et. al.一篇A Neural Algorithm of Artistic Style[1]後就掀起了一股如何用神經網路複製藝術風格的熱潮(像是大家熟悉的一些藝術風格特效App Prizma 或是去年的星空福祿猴都是基於這個做的唷)。 本篇論文提出了Conditional Instance Normalization的方式來混和多種不同的畫風。在這個方法下可以學到style的Representation,在後續的實驗和討論中,作者認為這種Style representation learning的方式更有助於發現新的Style,細節請參考:…

March 25, 2017 / / Codes & Projects

[Highlighted Research] 人類可以很容易地找出兩個不同領域中圖片的關係。舉例來說:我們可以很容易地將一件豹紋的衣服和一雙豹紋的褲子做配對。那電腦是否有辦法學會發現這樣的關係呢? 去年柏克萊大學人工智慧實驗室(BAIR)首先利用Conditional GAN(cGAN)[1]來解決這樣的問題。本篇作者基於這個問題並延伸到在沒有任何配對標記的情況下(Unsupervised),電腦是否還能自己學會發現這樣的關係呢? 詳細的細節請見:   原始論文:Learning to Discover Cross-Domain Relations with Generative Adversarial…

March 25, 2017 / / Deep Learning

Deep Learning for Natural Language Processing 是牛津大學和Google DeepMind在2017 年所合作的最新一期課程。授課的教授都是NLP領域世界頂尖的專家(Ex 前CMU教授Chris Dyer).  課程內容主要涵蓋Deep Learning近幾年在NLP領域的應用和突破如文本分類、語言模型和語音合成等等。雖然重點放在Deep Learning,但也會介紹一些Deep Learning出現前所使用的方法,讓學生可以體會到Deep…

March 24, 2017 / / Business Intelligence

有沒有可能在Power BI中使用RevoScaleR package 的計算功能呢???大家快跟緊腳步試試看吧! https://www.r-bloggers.com/is-it-possible-to-use-revoscaler-package-in-power-bi/

March 24, 2017 / / Backpropagation

Deepmind提出Synthetic Gradient來取代Backpropagation,藉由獨立優化各層的Synthetic Gradient Generator能提高訓練的速度。此篇Tutotrial帶領你快速理解原理,還有簡單的實作程式碼可以玩唷! [Link] https://iamtrask.github.io/2017/03/21/synthetic-gradients/ (Tutorial) [Paper] https://arxiv.org/pdf/1608.05343.pdf (Decoupled Neural Interfaces using Synthetic Gradients) [Paper] https://arxiv.org/abs/1703.00522 (Understanding Synthetic Gradients and…