多目標深度學習框架之概念與應用:Multi-Task Learning in Deep Neural Networks

多目標學習(Multi-Task Learning)是一個在機器學習領域存在許久的課題,我們總希望能夠訓練出一個精簡優雅的模型,同時預測多個目標,而不是對於每一個目標都設計單獨一套模型。舉個例子來說:想要訓練電腦判斷一張圖片是否有包含人的同時,我們也想要電腦順便給我們更多的資訊,像是人的姿態、四肢的位置、實際的身高跟距離。在現今資訊爆炸以及AI不斷進化的時代,未來這樣的多目標學習只會越來越普及,人類的大腦很厲害一下子就能做到舉一反三,但想要設計並有效訓練機器達成多目標預測並不容易。

來自AYLIEN的研究員Sebastian Ruder寫了一篇關於多目標學習框架的文獻與概念整理(An Overview of Multi-Task Learning in Deep Neural Networks),一次把所有到目前為止相關的文獻做了整理,給了許多發人深省的見解,讀完會對Transfer Learning以及Representation Learning都有更深一層的了解!

作者Sebastian指出從以前的機器學習時代(1998),多目標學習就已經被持續關注中了,統計到目前應用Deep Learning的方法,可以將所有的學習框架分成兩大類:Hard/Soft Parameter Sharing。Hard Parameter Sharing指的是每個目標一開始共用Hidden Features;Soft Parameter Sharing不共用Features,但對於每個目標的Features之間做了一些限制。

Hard Parameter Sharing

Soft Parameter Sharing

文章前段解釋了為什麼Multi-Task Learning是可行且有效的,直覺來想,由於訓練單一個目標會容易產生Overfitting,同時訓練預測多個目標,可以讓Feature Representation朝著更容易Generalize的方向來學習(Inductive Bias)。另外還有其他觀點:Attention focusing、Implicit data augmentation、Eavesdropping等等。

最後一段則提到了另一個重點,即使我們只關心預測單一個目標,也能利用其他Auxiliary Task來輔助模型學習得更好,還可以搭配最近很紅的Adversarial Loss來限制Representation Features,但是如何找到適當的Auxiliary Task又是另一個值得好好研究的問題了。

作者最後結論指出,即使使用Deep Learning架構能夠讓Feature共享更容易實現並訓練,但我們對於Multi-Task Learning的了解還是不夠深刻,未來需要對於Generalization以及Task Relationship下更多功夫,還有很長的路要走。文章中段作者也用數學的角度切入,並將最近幾年的Multi-Task Deep Learning相關論文做了整理,有興趣的讀者可以參考原始文章:An Overview of Multi-Task Learning in Deep Neural Networks

 

Share the joy
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  

近期文章

近期迴響

彙整

分類

其它

Chien-Yi Wang Written by:

2 Comments

發表迴響

你的電子郵件位址並不會被公開。 必要欄位標記為 *