木刻思 Deep Learning Newsletter 201704-2

刊物緣起:

 

由於 Deep Learning 近期的發展,處於一個超展開的知識爆炸時期,每天隨處可見隨手可得的各種 Deep Learning 資源,

有給初學者的,給進階者的,來自業界的實做經驗分享,來自學界的研究前緣論文與理論 ... 等等。

木刻思作為一間長期投入數學與尖端科技研究的顧問公司,也觀察到了我們自己內部的合作夥伴們,也都常常朝遇到類似的問題 ...

(1) 東西太多,分不太出來哪些是真正有價值的?哪些是看看就好的?

哪些是經典值得一看再看?哪些是最先進的實做,可以先跟著做體驗一下先進的科技?發想著下一代先進的應用!

(2) 新領域誕生和壯大的速度太快 (如GAN系列),很多資源都在網上紅個一兩天,收藏了以後沒有良好的分類,自己也找不太到自己的收藏?

(3) 找不到在追同一個領域的同好,一起討論最近彼此關注與蒐藏的資源與文章?

為了幫木刻思的夥伴們解決這些日常常遇到的問題,我們決定邀請各方 Deep Learning 的業界高手們,提供他們平常實做與研究正在關注的主題與資源。

並邀請一些本來就在做 Deep Learning 相關研究的專業小編,協助整理這些高手們提供的資源與連結!

建立一個方便搜尋,有著仔細分類的專欄,並於每兩週發表一次 Newsletter。

讓平常沒時間一篇一篇追的朋友,可以一次看完兩週最新的發展與概況!

近期,我們也將推出相關的讀書會,課程,或是一些 Learning Hackathon,

讓大家也可以有更多的機會聚在一起彼此交流著正在玩的最新的東西!

詳情請關注我們的網站與我們的粉專

正如木刻思的網站標題 Learning By Hacking 寫著,

木刻思是一個一直致力於提供最前緣 Hacker 學習最先進的技術的公司與社群

歡迎大家的加入!也希望可以持續和大家一起成長!

 

Highlight Researches:

 

Get To The Point: Summarization of Pointer Generator Network

ACL2017最新出爐的Paper之一,由Standford,Google Brain團隊聯合提出的一個Deep Learning在文本摘要的一個新的模型

UNSUPERVISED SENTIMENT NEURON

OpenAI深入分析透過unsupervised learning得到的character-level language model,發現其中藏有獨特的情緒神經元(sentiment neuron),究竟這個神經元有什麼妙用呢?

Improve Training of Wasserstein GAN

Wasserstein GAN的強化版,穩定度比之前的WGAN更好!

Neural Representation of Sketch Drawings

Google最新的關於Sketch Drawing的模型,可以捕捉到Sketch背後的Representation。

BEGAN: STATE OF THE ART GENERATION OF FACES WITH GENERATIVE ADVERSARIAL NETWORKS

Google家最新的GAN,效果驚人,訓練簡單,而且生成的圖還比較”美”。而另一亮點則是提出控制生成多樣性的超參數。

[經典系列] VALUE ITERATION NETWORK

Deep Learning殿堂NIPS 2016拿下最佳論文,將Reinforcement Learning中的Value Iteration巧妙的類比作CNN的運算,而這種mode-based的方法讓Agent不只會識別障礙物,還能學會利用地圖資訊來做Planning!

 

Tutorials & Courses:

 

Stanford CS224N: Natural Language Processing with Deep Learning

Standord最新一期Deep Learning for NLP的課,講師是Chris Manning及其學生Richard Socher。非常適合給想紮實學習這個領域的讀者。

 

MIT 6.S094 Deep Learning For self-driving car

MIT第一次開設的自動駕駛課程,課程內容主要涵蓋自動駕駛中使用的Deep Learning相關技術。這門課最大的特色在於你真的可以課程提供的Web介面上訓練自己的自動駕駛車,不需自備龐大的GPU就可以玩,而且也不需要會Tensorflow,Torch等工具,全部可以用JavaScript編寫自己的模型!

 

Posts & Articles:

 

THE TWO PHASES OF GRADIENT DESCENT IN DEEP LEARNING

Stochastic Gradient Descent (SGD) 應該是每個做ML或DL的人都熟知的套路,但我們可以更深入地了解SGD的過程到底發生了哪些事。此篇文章整理了一系列針對SGD做分析的論文,揭露了SGD少為人知、出乎意料的一面。

Why Momentum Really Work?

Distill上最新的發表,用詳細的數學和互動介面來解釋為什麼神經網路常用的Momentum對最佳化神經網路會有效。

 

Code & Projects:

 

DeepColor:用DeepLearning替喜歡的漫畫人物上色

可以上傳一張漫畫人物或手繪自己一張草稿,讓DeepLearning背後的模型替你上色。

 

Zi2Zi:用DeepLearning自動學會設計中文字型

這篇作者利用GAN的方式模擬設計師設計字型的過程,讓電腦能夠學會產生多種不同的中文字型。

 

Dataset:

 

Maluuba Frame Dialogue Dataset

Maluuba是微軟收購的一家研究型公司,2015年開始Prof. Yoshua Bengio在這裡當顧問。最近釋出的這份DataSet主要是希望促進在對話系統中更複雜的決策過程的研究。這份資料搜集的方式是讓一人扮演使用者一人扮演Chatbot,在一些條件下對話搜集而成。

Magenta Audio Dataset 

Magenta是google brain下的一個Project,主要是想把Machine Learning用在音樂和藝術上。最近釋出的這一份DataSet含有305,979有標記過的音符,其目的是希望促進音樂合成的研究。

ETHz Large Scale 3D Cloud Point Classification Dataset

這是由ETHz最近釋出的3D Cloud Point Classification Dataset,其所包含的場景和數量都遠較先前的多。

 

News:

 

Exploring the mysteries of Go with AlphaGo and China's top players

Google DeepMind人機對戰最終回5/23-5/27 中國浙江烏鎮將舉行:

1.人機配對賽:一人一Alphago vs 一人一AlphaGO. 2.五位頂尖棋手聯合與AlphaGo對弈 3.世界第一柯潔對戰AlphaGo

Google Opensource Seq2Seq Framework in Tensorflow

Goolgle把最新的 Seq2Seq Module整合到Tensorflow裡,讓開發者可以更靈活的探索和運用Seq2Seq

Google DeepMind Open Source Sonnet 

Sonnet是DeepMind基於Tensorflow的神經網路開發包,有更透明和自動變數分享和變數重複使用的功能。

 

Events & Courses:

PyDay 5/5 手寫 Deep Learning

  • 報名網址:https://docs.google.com/forms/d/e/1FAIpQLSdQRrz_OzDE62pJL2FFAz9JS7xXiSXdpCdrSjsHYpZBaMc2pA/viewform

刻刻數學小聚 4/23 之手解推倒深度學習

  • 活動網頁:https://datasci.kktix.cc/events/iinumbers-math-20170423
  • 報名請洽粉絲團:https://www.facebook.com/datasci.info/

刻刻數學小聚 4/30 之手解推倒深度學習

  • 活動網頁:https://datasci.kktix.cc/events/iinumbers-math-20170430
  • 報名請洽粉絲團:https://www.facebook.com/datasci.info/

 

 

編輯心聲:

Leo Yang: 除了各種應用與GAN層出不窮,慢慢得也有把注意力拉回根本原理與物理意義的趨勢!

 

Kuan Chen. No more GAN please, It's crazy!!!!QwQ

 

Share the joy
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  

近期文章

近期迴響

彙整

分類

其它

c3h3 Written by:

Be First to Comment

發表迴響

你的電子郵件位址並不會被公開。 必要欄位標記為 *