像人一樣抓重點閱讀:Learning to Skim Text

人類經過訓練後可以學會抓重點閱讀,那麼機器是否也可以做到類似的事呢?最近由Google資深研究員Quoc Viet Le及其團隊發表一篇Learning to Skim Text來試圖回答這個問題。實驗結果證明這個提出的方法可以在五個任務中達到比傳統LSTM快2~6倍且維持差不多甚至更好的表現。

這個模型的架構如下:

首先,這個模型有三個基本的參數N,R,K分別為最多可以跳躍的上限、兩次跳躍間所讀的字數以及一次最多可以跳幾個字。

其訓練方式如上圖:先讀R個字後輸出一個決定接下來要跳幾個字的Softmax,從中取樣[註]一個後(圖中一開始是跳3個),跳過去後再讀R個字後再輸出一個softmax並取樣後決定跳幾個(接下是跳2個)[註]。重複這樣的過程直到滿足下列條件後停止:

  • 從決定跳幾個字的softmax中取樣出跳0個字
  • 超過最多允許跳躍次數
  • 抵達最後一個字

停止後,最後一個hidden state就被拿來用來做相關任務的預測。更多細節請參考原始論文:

原始論文:Learning to Skim Text(arxiv)

註:訓練的過程中因為跳躍的次數是離散的,所以會用的REINFORCE的方法,更多關於這個方法可以參考:

 

 

Share the joy
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  

近期文章

近期迴響

彙整

分類

其它

kuanchen Written by:

Be First to Comment

發表迴響

你的電子郵件位址並不會被公開。 必要欄位標記為 *