CNN在自然語言處理的應用整理:Convolutional Methods for Text

把CNN應用在自然語言處理是最近的深度學習中的一個趨勢,像是FAIR近期發表的機器翻譯模型Convolutional Sequence to Sequence Learning及為一例,這篇文章介紹了CNN在自然語言處理應用上的幾個面向以及所會遇到的問題和解決方法。對於還不熟悉CNN如何應用在自然語言處理的讀者可以先參考這一篇教學[1]。而本篇文章作者首先提出了一般NLP的任務中的幾個特點,並簡單比較了LSTM的做法接著進入CNN在NLP中更廣泛的應用([1]只有提到classification),作者摘要其文章重點後如下:

  1. RNN雖然可以用來處理文字,但是CNN在速度上勝出
  2. 因為句子的每一個詞都會對句子有影響,我們希望可以一次就看到句子的Representation,而不是像RNN一個接一個的讀
  3. CNN在文本處理也會遇到Gradient Vanishing的問題,我們可以用DenseNet和Dilated CNN來解決
  4. 若是要產生文字(Text Generation),我們可以用Deconvolution的方法來產生任意長度的文字

更多細節和介紹請參考作者的原始教學文[2]

 

[1] WildML

[2] Medium (Tal Perry)

Share the joy
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  

近期文章

近期迴響

彙整

分類

其它

kuanchen Written by:

Be First to Comment

發表迴響

你的電子郵件位址並不會被公開。 必要欄位標記為 *