Learning by Hacking Posts

April 22, 2017 / / Computer Vision

今天要跟大家介紹的是一篇關於Computer Vision中的經典問題Object Detection的簡易改進方案。大部分的主流方法在解決Object Detection的問題時,會先生成一堆Bounding Box Proposal(有比較大概率包含有Target的區域),接著再對每個Proposal進行Classification,決定這個Proposal是某一類的概率有多少。最後生成的結果在每一個類別下,通常會有幾百個Bounding Box,各自有不同的Classification Score,為了能得到比較準確的結果,大家都會用Non-Maximum Suppression(NMS)當作Post-Processing的方法來排除掉位置太相近的結果。NMS的基本假設是,太相近的位置只會有一個物體,因此只需要保留概率最高的那個Bounding Box即可,算法中設定一個Overlap threshold的hyper-parameter,來決定多相近的Bounding Box需要被Suppress除掉。 但是從許多的常用的dataset的例子中,可以看到很多時候在一張圖片中,我們所感興趣的目標有可能是很接近的,像上圖的例子,用原本的NMS算法,由於兩個Bounding Box Overlap太大,一定會除掉其中一個,導致了False…

April 21, 2017 / / Deep Learning

這樣GAN、那樣GAN,最近大家都GAN到怕了吧?這篇文章幫你搜羅了所有GAN!讓你一次通通打包帶回家! 這個連結整理了從最早一開始的GAN、到試著從架構方面來改善穩定性的DCGAN一直到年初的WGAN和上個月強化版的WGAN2應有盡有,此外也有之前在文章中介紹過的DiscoGAN、BGAN等基於GAN的各種應用(如Pix2Pix)。非常適合想要研究GAN的系列研究的讀者! [Link] https://deephunt.in/the-gan-zoo-79597dc8c347

April 20, 2017 / / Codes & Projects

DeepMind在昨天公開了去年發表在Nature的Hybrid Computing Using a Neural Network with Dynamic External Memory的官方程式碼 。在這篇論文中DeepMind團隊提出了一個叫Differential Neural Computer(DNC)的架構。這個架構讓神經網路具備像現在電腦一樣可以讀、寫外部的記憶體的能力,而這個能力也是從資料本身中訓練出來的。 這樣具備讀寫外部記憶體的能力讓神經網路能夠自動學會如何找出地鐵中兩點的最短路徑和推論家族圖譜中的關係。更多細節請參考   1.Nature…

April 19, 2017 / / Deep Learning

刊物緣起:   由於 Deep Learning 近期的發展,處於一個超展開的知識爆炸時期,每天隨處可見隨手可得的各種 Deep Learning 資源, 有給初學者的,給進階者的,來自業界的實做經驗分享,來自學界的研究前緣論文與理論 … 等等。 木刻思作為一間長期投入數學與尖端科技研究的顧問公司,也觀察到了我們自己內部的合作夥伴們,也都常常朝遇到類似的問題 … (1)…

April 18, 2017 / / Deep Learning

今天要介紹給大家ACL 2017剛出爐的Get to the point:Summarization of Pointer Generator Network。這份研究是由Standford NLP大牛Chris Manning及其學生Abigail See和Google Brain團隊聯合發表。 第一作者Abigail See寫了一篇清楚的互動式Blog來介紹這份研究以及在文本摘要這個領域中尚未解決的問題,非常推薦點進去看。這裡只做簡單的摘要(你問小編為什麼不用他發表的作品做呢,看完Blog讀者就知道啦XD):…

April 17, 2017 / / Codes & Projects

LSTM是Deep Learning中常被用來處理Sequence Data的模型。但當LSTM變得很大的時候訓練起來就會相當耗時。因此Nvidia在ICLR 2017提出了兩個加速LSTM訓練的實驗性方法來解決這個問題。其中一個是基於Matrix Factorization而另一個是基於Matrix Partition,其目的都是為了減少訓練的參數量。 雖說分解Neural Network來減少訓練參數量在Computer Vision領域已經有不少突破(Ex He et.al 2015 ResNet中的bottle neck design),但類似的方法LSTM還沒有很大的進展。更多細節請參考:…

April 17, 2017 / / BEGAN

BEGAN是Google家最新的GAN,立基於EBGAN再結合先前很火的WGAN,效果驚人,訓練簡單,而且生成的圖還比較”美”。而BEGAN另一亮點則是提出控制生成多樣性的超參數,並藉此巧妙地穩定了訓練過程。(附上的導讀另有跟Improved WGAN的比較) [Paper] https://arxiv.org/abs/1703.10717 [中文導讀] https://read01.com/RjaeaM.html [英文導讀] https://blog.heuritech.com/2017/04/11/began-state-of-the-art-generation-of-faces-with-generative-adversarial-networks/ [Code] https://github.com/carpedm20/BEGAN-tensorflow

April 17, 2017 / / Deep Learning

最近Google剛出的AutoDraw展現了Google AI草圖繪畫(sketch drawing)上的理解能力,可以猜到使用者想畫什麼並自動完成。今天小編就為大家介紹Google最新的關於sketch的研究:Neural Representation of Sketch Drawings。 簡單來說,Google在這篇研究提出了一個用Seq2Seq AutoEncoder的方法可以讓神經網路學會生成草圖並抓到他們的Representation。透過這樣的機制這個神經網路可以做到以下的事情: 1.根據使用者給定的線條(左),猜出你想畫的草圖(右邊)   2. 修正使用者畫錯的三眼貓咪,還可以產生一隻像牙刷的貓? 3.最後,來公佈答案啦! 更多細節請參考Google…

April 14, 2017 / / cGAN

今天為大家準備一個稍微輕鬆的Project zi2zi: Master Chinese Calligraphy with Conditional Adversarial Networks 。先不要管這長長的名字,想像今天如果我們要重新設計一款新的中文字型,有沒有可能只讓設計師設計一小部分的字,剩下的讓電腦自動去學會產生呢?(註) zi2zi就是一個嘗試解決這個問題的Project,他利用GAN的方式模擬設計師設計字型的過程,讓電腦能夠學會產生多種不同的中文字型。下圖是作者的部分成果: 兩行為一組字,左邊是真的字型,右邊是電腦學會的,兩邊相似度非常高 更多精彩的範例和實作細節請參考:zi2zi: Master Chinese Calligraphy…

April 11, 2017 / / Deep Learning

這是在最新Machine Learning線上期刊Distill的文章,如果有在做深度學習的人都會知道Momentum常常是最佳化神經網路中一個很重要的東西。這篇文章用詳細的數學和豐富的互動圖表來來深入地解釋為什麼Momentum會有用,非常推薦給想理解Momentum背後的原理的人閱讀!  Why Momentum Really Work?