Adversarial Spheres

深度學習可以視為一種 manifold learning ,
模型透過 training data 在高微度空間中學到一個好的 manifold ,
而過往研究者常認為 Adversarial Attack 成立的主因是 adversarial sample 位於學到的 manifold 外側,
進而造成模型出現無法預期的行為

而在這篇 Google Brain 提出的 adversarial spheres 中,
作者虛構出一個由兩個高維度同心球殼所形成的資料集,
用其訓練模型,
因為有已知的資料分布,
所以能對模型學習的目標 manifold 做可預期的控制

作者在這個資料集上觀測到過往在影像資料集上同樣觀測到的現象,
所有在資料分布內的大多數隨機點都「同時」具有以下兩項特性:
1. 被正確分類 (因為模型有極高正確率)
2. 非常靠近一個分類錯誤的點
後者代表將正確分類的點做微幅擾動就有機會造成分類錯誤,
並且這個特性在即使 testing error rate 低於 1000 萬分之一都會出現

在影像資料集上的表現形式就是:
模型分類準確度極高,
但是當影像中有極小、人眼無法察覺的擾動,
就會出現分類錯誤

針對上 2. ,論文中定義了「平均最近錯誤點距離」(average distance to nearest error) ,
並提出「測試正確率」與「平均最近錯誤點距離」之間有關聯性 [註一] ,
要有效調升「平均最近錯誤點距離」 (意即必須要對選定資料做更大的擾動才能讓模型分類失敗) ,
必須要讓 error rate 指數性地下降才行,
並且這個關聯性與選擇的模型無關

論文指出,
內文中提出的定理將「為什麼會有 adversarial example 造成模型分類錯誤?」的問題轉換成了「為什麼模型無法避免會有極微量的分類錯誤?」,
雖然這個定理是否對於影像資料集也會成立尚不明確,
但若是成立,
這也許可以解釋為什麼即便已有非常大量的研究投入,
adversarial attack 問題依舊難以被解決

另外,
過往常假設 adversarial attack 成立的主因是 sample 落於 manifold 之外,
而這篇論文的實驗結果分析 [註二] 可能指出這個假設可能並不泛用,
因為即使在 manifold 內的資料也存在相當稠密的 local errors

總結而言,
這篇論文提出許多有趣的觀察與疑問,
並都指向一個最終的問題:「 adversarial attack 問題真的能被完全解決嗎?」
雖然論文中使用了非常簡單的虛擬資料集來實驗,
但實驗中的許多觀察都為 adversarial attack 的問題帶來許多有趣的 insight

論文原文:
https://arxiv.org/abs/1801.02774

[註一]
原文寫 trade off ,但語意上不太恰當,故翻為關聯性

[註二]
這篇論文的 Section 3 ,關於實驗結果的分析有很多有趣現象與觀察,值得一看

Share the joy
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  

近期文章

近期迴響

彙整

分類

其它

HubertLin Written by:

Be First to Comment

發表迴響

你的電子郵件位址並不會被公開。 必要欄位標記為 *