Get to the point:Summarization of Pointer Generator Network

今天要介紹給大家ACL 2017剛出爐的Get to the point:Summarization of Pointer Generator Network。這份研究是由Standford NLP大牛Chris Manning及其學生Abigail See和Google Brain團隊聯合發表。

第一作者Abigail See寫了一篇清楚的互動式Blog來介紹這份研究以及在文本摘要這個領域中尚未解決的問題,非常推薦點進去看。這裡只做簡單的摘要(你問小編為什麼不用他發表的作品做呢,看完Blog讀者就知道啦XD):

1.雖然Seq2Seq + Attention這樣的Framework已經被廣泛運用在機器翻譯[1]、語音辨識[2]等領域。但在文本摘要這方面尚未有很好的成果。

2.Seq2Seq + Attention在文本摘要主要會面臨兩個問題:(1)無法正確呈現文本中事實的細節

(2)有時會一直重複一些詞組(Ex Germany beat Germany beat...)

3.作者引入了一個Generation Probability(Pgen)來和Seq2Seq+Attention decode出的單字分佈機率及Attention做加權總和來調整最後輸出的單字分佈機率。這樣做能賦予模型決定是否要直接複製原始文本單字的能力。同時,這個方法也可增強模型在處理在訓練過程中沒看過的單字的能力,進而減少訓練模型所需用到的詞庫。作者以實驗證明這個方法可以有效改善(1)

4.作者另外引入一個Coverage的概念和一個特別的loss來改善(2)。這個Coverage有利於使模型在做Attention時不去注意之前已經摘要過的字。

更多細節請參考:

Get To The Point: Summarization with Pointer-Generator Networks

 

[1]Bahdanau et.al."Neural Machine Translation by Jointly Learn to Align and Translate"(arxiv)

[2]Chorowski et.al. "Attention Based Model For Speech Recognition"(arixv)

Share the joy
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  

近期文章

近期迴響

彙整

分類

其它

kuanchen Written by:

Be First to Comment

發表迴響

你的電子郵件位址並不會被公開。 必要欄位標記為 *