深度學習衝擊下 NLP 的自處:影響、貢獻、與未來

近年來深度學習異軍突起帶動各研究領域研究突破當前紀錄,並挑戰了傳統研究方向的地位。Stanford NLP Group 的大師 Chris Manning 為此撰文,針對 DL 對 NLP 的影響、貢獻、以及 NLP 的未來發展方向等層面表達看法。以下做簡單摘要:

  1. DL 在 NLP 領域遠不及其在 CV 領域的成果。
  2. NLP 問題的核心是「專業領域知識」以及對問題洞悉程度 ,而非機器學習演算法。在 Manning 眼中,NLP 的問題更近乎「設計」,因此語言學、認知心理學等古典 NLP 引以為基礎的領域不會因為 DL 的出現而被捨棄。兩者對於 NLP 的進步反而是相輔相成的。
  3. DL 對 NLP 的貢獻更近乎是對分散式表示法(Distributed Representation)[1] 更佳的實作,並由此有效解決了傳統 n-gram 語言模型表示法具有稀疏性(Sparsity)問題。

藉此文章,Manning 呼籲 NLP 領域的研究者們應該更投入研究本質的 "problems, approaches, and architectures" 等面向,而非僅依賴大量數據、黑盒子程式等「工程解法」,或錙銖計較實驗數據是否能超越state-of-the-art。他同時指出,如 word2vec [2]、GloVe [3] 等近期再興 NLP 研究熱潮的分散式表示法技術,其新穎處並不在於建構新的 DL 模型,而是來自於對語言更深切的認知。

[1] 分散式表示法 [link]

[2] "Efficient Estimation of Word Representations in Vector Space", 2013, Mikolov et al. [link]

[3] "GloVe: Global Vectors for Word Representation", EMNLP 2014, Pennington et al. [link]

(圖片來源:原文文章)

Share the joy
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  

近期文章

近期迴響

彙整

分類

其它

seanwang Written by:

Be First to Comment

發表迴響

你的電子郵件位址並不會被公開。 必要欄位標記為 *