木刻思 Deep Learning Newsletter 201705-3

刊物緣起:

 

由於 Deep Learning 近期的發展,處於一個超展開的知識爆炸時期,每天隨處可見隨手可得的各種 Deep Learning 資源,

有給初學者的,給進階者的,來自業界的實做經驗分享,來自學界的研究前緣論文與理論 ... 等等。

木刻思作為一間長期投入數學與尖端科技研究的顧問公司,也觀察到了我們自己內部的合作夥伴們,也都常常朝遇到類似的問題 ...

(1) 東西太多,分不太出來哪些是真正有價值的?哪些是看看就好的?

哪些是經典值得一看再看?哪些是最先進的實做,可以先跟著做體驗一下先進的科技?發想著下一代先進的應用!

(2) 新領域誕生和壯大的速度太快 (如GAN系列),很多資源都在網上紅個一兩天,收藏了以後沒有良好的分類,自己也找不太到自己的收藏?

(3) 找不到在追同一個領域的同好,一起討論最近彼此關注與蒐藏的資源與文章?

為了幫木刻思的夥伴們解決這些日常常遇到的問題,我們決定邀請各方 Deep Learning 的業界高手們,提供他們平常實做與研究正在關注的主題與資源。

並邀請一些本來就在做 Deep Learning 相關研究的專業小編,協助整理這些高手們提供的資源與連結!

建立一個方便搜尋,有著仔細分類的專欄,並於每兩週發表一次 Newsletter。

讓平常沒時間一篇一篇追的朋友,可以一次看完兩週最新的發展與概況!

 

 

近期,我們也將推出相關的讀書會,課程,或是一些 Learning Hackathon,

讓大家也可以有更多的機會聚在一起彼此交流著正在玩的最新的東西!

詳情請關注我們的網站與我們的粉專

正如木刻思的網站標題 Learning By Hacking 寫著,

木刻思是一個一直致力於提供最前緣 Hacker 學習最先進的技術的公司與社群

歡迎大家的加入!也希望可以持續和大家一起成長!

 

Highlighted Research Paper

 

Toward Principle of Generative Adversarial Network

這篇是試圖從根本解決GAN的穩定性的經典代表作之一,是WGAN的理論基礎。另外小編還整了一系列的導讀文以利讀者瞭解背後的奧妙。

Neural Architecture Search with Reinforcement Learning

來自Google Brain,入選ICLR 2017口頭報告的最新論文,用Reinforcement Learning結合RNN來訓練出最佳的神經網路結構。

Understand Deep Learning Requires Rethinking Generalization

ICLR Best Paper Award。也是年初到現在討論度相當高的Paper之一,主要在探討Deep Learning的Generalization的問題。

Improving Object Detection With One Line of Code

這一篇探討的是Computer Vision中的經典問題Object Detection的簡易改進方案,透過改進Post-Processing中的Non-Maximum Suppression來提升效能。

Computer Vision for Autonomous Vehicles: Problems, Datasets and State-of-the-Art

這篇Review Paper長達67頁,涵蓋了幾乎所有做自動駕駛相關的Computer Vision Topic跟Dataset。在每個Topic上,也有整理最近一二十年來的算法演進,以及在常用的幾個Dataset上的效能比較與分析。作者還建了一個互動檢索網站,可以更方便找到Autonomous Vehicle相關的CV論文。

Network Dissection: Quantifying Interpretability of Deep Visual Representations

這篇來自MIT的論文入選了CVPR 2017的口頭報告,主要探討如何用量化檢測含有語義的神經元,來打開Convolutional Neural Network的黑箱。

Visual Dialog

Visual Dialog是一個Computer Vision的Chatbot,針對一張使用者輸入的圖片,電腦可以理解圖片中的細節,並回答使用者所輸入的各種問題。這篇來自Virginia Tech & Georgia Tech的論文也入選了CVPR 2017 Spotlight Session。

Realtime Multi-Person Pose Estimation

這是去年2016 MSCOCO KeyPoint Detection冠軍,作者利用同時學習Part Detection和Part Association來達到即時偵測人體的姿勢。

Adversarial Neural Machine Translation

不同於傳統的Seq2Seq,這是第一篇用GAN的方式來做機器翻譯。其效果在英翻法、德翻英已擊敗之前的方法。

 

Tutorial & Courses

 

Berkeley CS294: Deep Reinforcement Learning, 2017

Berkeley第二次開Deep Reinforcement Learning的課程,本次的錄影品質及Resource都相當完整!內容除了知名的DQN、A3C等,還會介紹到Imitation Learning跟Inverse Reinforcement Learning的最前沿研究。

Tensorflow: A Proposal of Good Practices for Files,Folders and Model Architecture

這是作者根據經驗寫成的Tensorflow教學文,教你如何設計檔案路徑以及模型架構讓程式碼更易於維護和使用。

 

Post & Article

 

The GAN Zoo – A list of all named GANs!

這篇文章幫你搜羅了所有GAN!讓你一次通通打包帶回家! 這個連結整理了從最早一開始的GAN、到試著從架構方面來改善穩定性的DCGAN一直到年初的WGAN和上個月強化版的WGAN2應有盡有。

Google Cloud Vision API is Blinded by Noise

華盛頓大學網路安全實驗室研究發現目前Google Cloud Vision API的強健性(Robustness)欠佳,只需要加入些許雜訊就能讓不當內容通過此API的判定。

 

Code & Project

 

Caffe 2: A New Lightweight, Modular, and Scalable Deep Learning Framework

Facebook開源輕量與跨平台性十足的Deep Learning框架,更好的支援移動端及分佈式雲端運算。

DeepMind Opensource Differential Neural Computer in Sonnet

DeepMind去年發表在Nature上的DNC(Differential Neural Computer)的程式碼,用的是DeepMind基於Tensorflow自己開發的Sonnet寫成。對DNC和Sonnet有興趣的可以參考看看。

 

Datasets

 

VisDial Dataset

Georgia Tech & Virginia Tech共同合作的Visual Dialog研究中,搜集了VisDial Dataset作為訓練使用。這個數據集共涵蓋了14萬張來自COCO Dataset中的圖片,每一張圖片都有一個對話庫,以及十個問題以及對應的答案。

 

News

 

LybreBird:The Montreal-based artificial intelligence startup Lyrebird today unveils its voice imitation algorithm.

這是由蒙特婁MILA的研究人員的新創團隊,這家公司開發了一個語音合成API,主打只要一分鐘的錄音,就可以根據這段錄音的特徵合成具備此特徵的任何聲音。

Baidu is making its self-driving car platform freely available to the automotive industry

百度這項開源計畫名為阿波羅,主要開源的項目有:車子本身、硬體平台、軟體平台以及雲端相關服務。

The U.S. tech giant announces a new artificial-intelligence laboratory to boost its projects with the Montreal Institute for Learning Algorithms.

IBM即將和世界頂尖的DeepLearning實驗室MILA合作進行一系列的研究和合作。

 

Events & Courses:

 

Computer Vision Online Meetup (5/6 9:00am)

 

編輯心聲:

 

Chien-Yi Wang: 大家揪團七月一起去夏威夷玩CVPR吧(誤

Leo Yang: 喜歡那種打開黑箱的文章^_<

Sean Wang: 什麼都是假的!實作才是真的!

Kuan Chen: 我想研究神經圖靈機~~~Chien Yi DaDa carry me~~

Share the joy
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  

近期文章

近期迴響

彙整

分類

其它

c3h3 Written by:

Be First to Comment

發表迴響

你的電子郵件位址並不會被公開。 必要欄位標記為 *