Neural Episodic Control

今天要跟大家介紹的是DeepMind上個月初發表的一份快速學習的Reinforcement Learning 方法: Neural Episodic Control,其效果遠遠超越傳統的A3C,DQN如下圖最上面藍色的線,他可以在很短的時間內達到其他方法達不到的學習效果,下圖只是部分的學習任務而已,更多可以參考原始Paper

究竟Neural Episodic Control(NEC)是什麼黑魔法呢,這裡有一篇Blog (非常推薦點進去看)已經很整的介紹其來龍去脈這裡就不再贅述,僅為大家摘要重點如下:

  1. NEC最是由2007年Hippocampal Contributions to Control 和2016 Model Free Episodic Control 的基礎上再做延伸。
  2. 前者試圖模仿人腦記憶運作的機制(Episodic Memory),他會用一個表來記錄好的state-action pair以利學習,該論文指出Episodic Memory是有助於agent快速學習的
  3. MFEC基於前者,並在state space引入distance function,如此一來在查表的時候可以用K-Nearest Neighbor來找出多個相似的State的Actions並取其平均。
  4. MFEC受大腦Episodic Memory運作的啟發,作者並沒有讓Agent直接看到Environment,而是把從Environment看到的Observation有兩種不同方式(Random Projection and VAE)做Mapping才變成State
  5. 最後NEC基於MFEC,並以DND(Differential Neural Dictionary)取代原本的state-action pair的表,並在feature mapping上以CNN做改進達到現今的成果

 

Share the joy
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  

近期文章

近期迴響

彙整

分類

其它

kuanchen Written by:

2 Comments

  1. ari
    四月 7, 2017
    Reply

    有人想要一起練習這個算法嗎? 因為我只看過DQN對MFEC不熟,要轉換成NEC需要一點力氣,如果有人可以一起討論應該會很有幫助.
    我在github上找不到相關的repository,如果有人知道哪裡有sample code可以看也請提點

發表迴響

你的電子郵件位址並不會被公開。 必要欄位標記為 *