ICLR 2017:讓神經網路來幫你架構最佳的神經網路Neural Architecture Search with Reinforcement Learning

ICLR2017正在法國土倫如火如荼的進行當中,這次大會中有一篇Oral Presentation來自Google Brain團隊,探討如何用Reinforcement Learning來協助搜索最佳的神經網路架構。對於一個全新的Domain Data,往往需要靠暴力搜索不斷測試,才能找出較好的Neural Network架構,用以提取有用的特徵。這篇論文將Neural Network中的每一層的各種參數(Number of Filters、Filter Size、Stride)轉換成字符串Sequence Data,就可以用RNN網路架構來處理生成。最外面包上一個Reinforcement Learning的架構,將RNN生成的網路架構拿去做訓練學習,並且把測試後的效能拿來做Reward,就可以不斷更新RNN控制器。作者用這樣的架構來尋找在CIFAR-10(數字圖像)與Penn Treebank(英文文句中的文法架構)兩個數據集上最優的網路架構,實際測試結果都比人工生成的網路架構還要好。詳細內容可參考:

Share the joy
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  

近期文章

近期迴響

彙整

分類

其它

Chien-Yi Wang Written by:

Be First to Comment

發表迴響

你的電子郵件位址並不會被公開。 必要欄位標記為 *