對抗式神經翻譯機 Adversarial Neural Machine Translation

今天要介紹的是GAN的一個全新應用:機器翻譯(Machine Translation)。現在的神經機器翻譯研究主要是以Cho et.al[1]提出的Seq2Seq+ Attention的模型為基礎做延伸。而這是第一篇透過用GAN的方式來做機器翻譯。作者在實驗中證明這樣的架構在英翻法、德翻英的翻譯上贏過之前的方法。

之前的Seq2Seq + Attention主要是用一個Sequence Encoder(LSTM,GRU..etc)將原本待翻譯的句子(Source Text)Encode後,再用一個Sequence Decoder(LSTM,GRU..etc)把待翻譯的句子Decode成要翻譯的句子(Target Text),如下圖[2]。而所謂的Attention(在下圖中並未清楚說明)在這裡可以直覺把它想成是一種模擬人類在翻譯句子的過程中,我們會參考前後文而決定下一個翻譯的字該是什麼的一個過程。

這篇的作者提出的方法則是先將句子透過CNN的方式表示成向量(請參考教學),接著用GAN的方式訓練一個判別器和生成器,直接來判別機器翻譯句子跟正確翻譯的句子相差多遠來讓機器翻譯的品質愈來愈好。更多細節請參考原始論文

原始論文:Adversarial Neural Machine Translation(arxiv)

 

註:廣州中山大學(Key Laboratory of Information Security Technology)、中國科學技術大學。

[1] Dzmitry Bahdanau,KyungHyun Cho,Yoshua Bengio 2014 "NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE"

[2]https://www.google.com.tw/search?q=seq2seq+machine+translation&source=lnms&tbm=isch&sa=X&ved=0ahUKEwik1ayypMzTAhUEFpQKHQBnC5gQ_AUICigB&biw=1201&bih=612#imgrc=hT3AqZaYFBnGFM:

Share the joy
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  

近期文章

近期迴響

彙整

分類

其它

kuanchen Written by:

Be First to Comment

發表迴響

你的電子郵件位址並不會被公開。 必要欄位標記為 *