Eye Tracking for Everyone

[kogaki]

CNNで顔画像から視線推定

論文本体・著者

• http://gazecapture.csail.mit.edu/
  • CVPR2016
• Kyle Krafka, Aditya Khosla, Petr Kellnhofer, Harini Kannan, Suchendra Bhandarkar, Wojciech Matusik, Antonio Torralba
  • University of Georgia, Massachusetts Institute of Technology, MPI Informatik

解きたい問題

• 画像ベースの視線推定
  • 深度や3Dを使わない，普通のRGB画像のみ．
• キャリブレーションフリー 　* 頭部位置やデバイスに依存しない

新規性

• 最大のデータセット
• 推定視線位置の誤差でSoTAを達成

実装

データセット

• 頭部位置の固定なし
• 1474人 / 2,445,504フレーム
  • スマホアプリを作ってAmazon Mechanical Turkで集めた

iTracker: A Deep Network for Eye　Tracking

• face/eyeはiOSの機能で認識してる
• faceで顔向き、eyeで視線の向きを推定して、最終的な視点を予測する、と言う感じの気持ちのネットワーク
• アプリは https://github.com/jetpacapp/DeepBeliefSDK のフレームワークを使ってiOSに実装

実験・議論

推定された視点が何cmずれているかの評価．ベースラインはSVR+学習済みAlexnet

• augmentationは顔のグリッドをずらすこと．こんだけデータが大きくても結構効いている．
• 意外とSVR氏が頑張ってるとも言える．やはりデータセットが強いってことですかね．

読んだ中での不明点などの感想

• iOS限定にしたのは実は問題を簡単にしているのだろうか(カメラの解像度の種類とか)
• baselineは他にもあったかなとは思う．この分野は他にも先行研究があるので．

関連論文