木刻思 DEEP LEARNING NEWSLETTER 201705-4

刊物緣起:

 

由於 Deep Learning 近期的發展,處於一個超展開的知識爆炸時期,每天隨處可見隨手可得的各種 Deep Learning 資源,

有給初學者的,給進階者的,來自業界的實做經驗分享,來自學界的研究前緣論文與理論 … 等等。

木刻思作為一間長期投入數學與尖端科技研究的顧問公司,也觀察到了我們自己內部的合作夥伴們,也都常常朝遇到類似的問題 …

(1) 東西太多,分不太出來哪些是真正有價值的?哪些是看看就好的?

哪些是經典值得一看再看?哪些是最先進的實做,可以先跟著做體驗一下先進的科技?發想著下一代先進的應用!

(2) 新領域誕生和壯大的速度太快 (如GAN系列),很多資源都在網上紅個一兩天,收藏了以後沒有良好的分類,自己也找不太到自己的收藏?

(3) 找不到在追同一個領域的同好,一起討論最近彼此關注與蒐藏的資源與文章?

為了幫木刻思的夥伴們解決這些日常常遇到的問題,我們決定邀請各方 Deep Learning 的業界高手們,提供他們平常實做與研究正在關注的主題與資源。

並邀請一些本來就在做 Deep Learning 相關研究的專業小編,協助整理這些高手們提供的資源與連結!

建立一個方便搜尋,有著仔細分類的專欄,並於每兩週發表一次 Newsletter。

讓平常沒時間一篇一篇追的朋友,可以一次看完兩週最新的發展與概況!

 

 

近期,我們也將推出相關的讀書會,課程,或是一些 Learning Hackathon,

讓大家也可以有更多的機會聚在一起彼此交流著正在玩的最新的東西!

詳情請關注我們的網站與我們的粉專

正如木刻思的網站標題 Learning By Hacking 寫著,

木刻思是一個一直致力於提供最前緣 Hacker 學習最先進的技術的公司與社群

歡迎大家的加入!也希望可以持續和大家一起成長!

 

Highlighted Research Paper

 

Curiosity-Driven Exploration By Self-Supervised Prediction

這是由UC Berkeley團隊提出的新的Reinforcement Learning方法,它定義了一個新的intrinsic Reward來讓agent不需透過外界的reward就能做到學習。

Convolutional Sequence to Sequence Learning

由FAIR團隊提出最新的基於純CNN架構的神經翻譯機,其表現不僅比Google的好,速度在一些情況下更是google的10倍以上。

Learning To Skim Text

Google團隊新提出的訓練LSTM的方式。 藉由結合Reinforcement Learning來選擇性跳過一些不重要的hidden unit來加快訓練且達到更好效果的方法。

Deep Image Analogy

微軟研究院在圖片風格遷移的最新突破,此算法在風格遷移時能更好的保留圖片結構。透過建立出兩張圖之間語意對應關係,藉此更有效地進行圖形特徵的轉換。其利用了預訓練的CNN來建立起特徵空間作類比,並應用PatchMatch加速最近鄰搜尋。

Deformable Convolutional Network

微軟研究院發表可變形卷積網路Deformable Convolutional Network,讓CNN有了更多的可能性!透過在原始的Convolutional Layer加上Learnable Offset,去適應旋轉與縮放的空間變換。替換新的Deformable Convolutional/RoI Pooling Module可以在Semantic Segmentation與Object Detection問題上取得更好的效能。

Split-Brain Autoencoders: Unsupervised Learning by Cross-Channel Prediction

Berkeley AI/CV Lab最近一篇入選CVPR 2017的論文,提出了一個新的Unsupervised Learning架構,學習到的特徵應用在Image/Scene Classification取得了state-of-the-art的結果。新的Unsupervised訓練方法,類比左右腦的運作模式,巧妙的將原始input data的channel分拆,並互相做預測來提取input data的特徵。

Efficient Natural Language Response Suggestion for Smart Reply

GMail的Smart Reply服務能夠給予適當的Mail回覆建議。新的演算法類似Deep Structured Semantic Model,搭配上n-gram embedding以及Multi-loss的架構。除了能達到過去seq2seq的推薦品質,延遲時間更只有原先的1%。

Wide and Deep Learning

推薦系統是機器學習的重要應用之一,Google提出Wide&Deep Learning模型來做推薦,其中Wide&Deep的意思是指前者負責做Memorization,後者做Generalization。文末另附上一篇整理得不錯的文章,整理了目前Deep Learning在推薦上的發展。

 

Tutorial & Courses

 

Fundamental: Variational Inference

Variational Inference是Deep Learning中經常會遇到的一個工具,這裡面蒐集了相關的教學和介紹。

Fundamental: Kullback-Leibler Divergence Explanation and beyond

KL-Divergence在需要比較兩個分配的相似性時經常會用到,也常被設計為ML/DL的Objective Function。這篇文章給KL-divergence作了相當活潑的介紹,並解釋Entropy與KL-divergence之間的關係。此外,小編另有附上資訊理論的補充資料。

 

Post & Article

 

Neural Model For Information Retrieval

微軟整理了從傳統到近幾年受到深度學習影響IR的發展,想要了解近幾年IR進展的讀者可以參考看看。

A New Kind of Deep Neural Network

這篇文章介紹了新一代的Feed Forward Neural Network,適合想要了解近幾年這個領域發展的讀者。

Navigating The Unsupervised Learning Landscape

這篇文章對非監督式學習的類型與一些新發展做了很不錯的整理,從Autoencoder、Clustering到Generative Adversarial Networks。另外還搜羅很多有趣作法,例如叫機器學拼圖;或是基於人類視覺系統而啟發的算法等等。

Last Words:Computational Linguistic And Deep Learning

近年來深度學習異軍突起帶動各研究領域研究突破當前紀錄,並挑戰了傳統研究方向的地位。Stanford NLP Group 的大師 Chris Manning 為此撰文,針對 DL 對 NLP 的影響、貢獻、以及 NLP 的未來發展方向等層面表達看法。

 

Code & Project

 

ParlAI: A new software platform for dialog research

ParlAI號稱是一站購足(one-stop shop)的對話研究,它是一個可用來訓練及測試對話模型的統一框架,也能一次利用許多資料集來進行多種任務的訓練,且無縫整合了Amazon的眾包市集Mechanical Turk,以進行資料蒐集與徵求真人評估。

Picasso:A free open-source visualizer for Convolutional Neural Networks

Picasso是一個視覺化DL Model的Flask Application,能配合Keras或Tensorflow的checkpoint做出Partial Occlusion及Saliency Maps,幫助我們更理解模型訓練所學習到的面貌。

Roboschool: open-source software for robot simulation

OpenAI發佈開源軟件Roboschool,整合先前發表的OpenAI Gym,讓使用者可以在同一個環境,更逼真的去模擬多個機器人的控制訓練。

 

Datasets

 

Stanford Imaging Datasets

Stanford的Langlotzlab在網頁上發佈消息說,即將公佈0.5PB來自Stanford以及其他醫院的醫療影像的數據集,號稱是醫療影像界的ImageNet,想必未來可以加速AI在醫學診斷上的進展。有興趣的團隊或是公司可以聯絡Langlotzlab以取得進一步的合作與資訊。

TrivialQA

這是由UW NLP實驗室最新釋出的大規模文本理解( Reading Comprehension)的資料,這份資料是比之前的SQuAD難度更高更複雜,適合更進一步的模型訓練。

 

News

 

TensorFlow Research Cloud

2017 Google I/O開發者大會上的最新消息!Google將開放1000個Cloud TPUs供機器學習研究人員免費使用,有興趣的研究人員可以上網站先填寫表單,之後Google會再選出優秀的Proposal給予使用TPU,獲選參與的開發人員也必須Open-Source研究的項目並提交使用TPU的feedback。

Inside Volta: The World's Most Advanced Data Center GPU

這篇報導詳細介紹了Nvidia在這次GTC2017所釋出的新產品和各種比較。適合想投資更快GPU Machine的人做參考。

 

編輯心聲:

 

Chien-Yi Wang: 大家揪團七月一起去夏威夷玩CVPR吧(誤

Leo Yang:

Sean Wang: 什麼都是假的!實作才是真的!

Kuan Chen: GAN and reinforcement learning are everywhere now

Licenses:

除另有註明,本文之內容皆採用
創用CC 姓名標示-相同方式分享 3.0 台灣 授權條款

使用時請註明文章原始作者與出處 (木刻思 Learning By Hacking)

Share the joy
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  

近期文章

近期迴響

彙整

分類

其它

kuanchen Written by:

Be First to Comment

發表迴響

你的電子郵件位址並不會被公開。 必要欄位標記為 *