即時多人動作姿勢辨識 CVPR2017: Realtime Multi-Person Pose Estimation (2016 Champion of MSCOCO KeyPoint Detection)

今天要介紹的是由卡內基美隆(CMU)Robostic Institute的作品Multi-Person Pose Estimation。至於什麼是Multi-Person Pose Estimation是什麼請參考下圖[1](其實小編很好奇最右邊那位先生到底在做什麼)

 

一般來說做Pose Estimation有兩種方法,一種是Top-Down另一種是Bottom-Up。所謂的Top-Down就是先在圖片中分割出人的位置,接著再去計算每個人的Pose。Top-Down的方法有一個缺點是當人無法被成功分割出來的時候就無法計算Pose。而Bottom-Up的方法則是先去看一張圖有哪些人體部位(Key Point)接著再想辦法把這些部位正確地按照每個人的位置連起來算Pose,但之前這樣的方法在最後計算Pose的部分有效能上的問題。

本篇作者則採用了一個Bottom-Up的方式,以同時學習Part-Detection和Part-Association並搭配PAF(Part Affinity Field)[註]的特徵來計算Pose。簡單來說就是先預測圖片中有哪些人體部位,搭配作者引入的PAF feature來預測哪些部位最可能相連。作者提出的方法不僅預測的表現上擊敗之前的方法,也在效能上獲得顯著的提升。更多細節請參考

  • Paper:Zhe Cao Tomas Simon Shih-En Wei Yaser Sheikh "Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields"(arxiv)
  • Code(code)
  • Slide(slide)
  • Video 1(video demo 1)
  • Video 2(video demo 2)

註:Part Affinity Field(PAF):這是作者在這篇論文中提出的新特徵,其計算的概念如下圖:假設j1和j2是在第k個人中軀幹c的兩個部位的ground truth,現在任取一點P,如果點P在軀幹c 則其PAF為從j1指到j2單位向量,反之則為0,更多計算細節請參考論文。

(圖片來源:論文)

Share the joy
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  

近期文章

近期迴響

彙整

分類

其它

kuanchen Written by:

Be First to Comment

發表迴響

你的電子郵件位址並不會被公開。 必要欄位標記為 *