[2019] Striking the Right Balance with Uncertainty

[cfiken]

0. 論文

タイトル

Striking the Right Balance with Uncertainty

リンク

http://openaccess.thecvf.com/content_CVPR_2019/papers/Khan_Striking_the_Right_Balance_With_Uncertainty_CVPR_2019_paper.pdf https://arxiv.org/abs/1901.07590

著者

Salman Khan, Munawar Hayat, Waqas Zamir, Jianbing Shen, Ling Shao by Inception Institute of AI

投稿日付

CVPR 2019

1. どんなもの？

class imbalanced なタスクに対して、ベイズ推定の枠組みでクラスごと、及びサンプルごとの不確実性に着目し、unbiased なモデルを学習するための新たな loss を提案した。 Loss は各クラスごとの不確実性を考慮してクラス間のマージンを最大化するようになっているのに加えて、各サンプルを多変量ガウス分布を使用してモデリングし、その二次モーメントまで考慮してクラス境界を調整している。

2. 先行研究と比べてどこがすごい？

ベイズによる不確実性の推定の枠組みを class imbalanced な問題に応用した。 クラス間だけでなくサンプルの不確実性も考慮した決定境界になっている。

3. 技術や手法のキモはどこ？

• Bayesian Uncertainty Estimates を行うために、dropout を含むネットワークが Gaussian Process に近似できることを利用している
  • dropout で得られるアンサンブルモデルの空間から N個のモデルをサンプリングし、その N個の出力から分布の一次、二次モーメントを求めている。
• 二次モーメントが大きい(=不確実性が高い)と logits が小さくなるようにマージンを定義し、Softmax Loss に重みを加える。
• サンプルごとについても不確実性を考慮している
  • サンプルが誤分類されてしまう確率を計算し、誤分類される確率が高いと logits が小さくなるように Softmax Loss に重みとしてかける。

4. どうやって有効だと検証した？

顔検出をはじめとした6つのデータセットで実験を行った。データセットも異なる特徴のもののうえ、ベースラインモデルとしてもモデルが違うもの、Augmentation を使っているもの、他の class imbalanced なタスクのための loss を使っているものなど多くとそれぞれ目的を持って比較し、そのほとんどで最も良い性能となっている。

5. 議論はある？

論文内で言及されている議論はない。 Affinity Loss の論文は現在の SOTA として引用しているが比較はしていない。

6. 次に読むべき論文は？

Related Works として挙げられている代表例

• [CVPR2019] Class-Balanced Loss Based on Effective Number of Samples
  • Yin Cui, Menglin Jia, Tsung-Yi Lin, Yang Song, Serge Belongie
  • Google
  • https://arxiv.org/abs/1901.05555
  • サンプル数の逆数を weight としてとるやつの発展版
  • 関連 https://qiita.com/tancoro/items/c58cbb33ee1b5971ee3b
• [2019] Max-margin Class Imbalanced Learning with Gaussian Affinity
  • Munawar Hayat, Salman Khan, Waqas Zamir, Jianbing Shen, Ling Shao
  • by Inception Institute of AI
  • https://arxiv.org/abs/1901.07711
  • Affinity Loss 関連 https://qiita.com/koshian2/items/20af1548125c5c32dda9
• [2015] Cost Sensitive Learning of Deep Feature Representations from Imbalanced Data
  • Salman H. Khan, Munawar Hayat, Mohammed Bennamoun, Ferdous Sohel, Roberto Togneri
  • https://arxiv.org/abs/1508.03422
• [CVPR2016] Learning Deep Representation for Imbalanced Classification
  • Chen Huang, Yining Li. Chen Change Loy. Xiaoou Tang,
  • 香港大学?
  • http://home.ie.cuhk.edu.hk/~ccloy/files/cvpr_2016_imbalanced.pdf
• [CVPR2017] SphereFace: Deep Hypersphere Embedding for Face Recognition
  • Weiyang Liu, Yandong Wen, Zhiding Yu, Ming Li, Bhiksha Raj, Le Song
  • Georgia Institute of Technology
  • https://arxiv.org/abs/1704.08063
• [ICML2018] Learning to Reweight Examples for Robust Deep Learning
  • Mengye Ren, Wenyuan Zeng, Bin Yang, Raquel Urtasun
  • Uber, Tronto Univ.
  • https://arxiv.org/abs/1803.09050

[cfiken]

7. 実験結果詳細 (一部)

顔認識タスク

CelebA の Attribute 予測タスク (multi label, 下に行くほど imbalance class)

[cfiken]

コメント

分からない点がいくつかある。

• Section 3 の Uncertainty について、式(7) がどう出てきたのか分からない。
  • 後ろの2項は二次モーメントの計算っぽい?
  • 最初の τ は model precision と書かれているがこれは何?
  • サンプルに依らない各クラスごとの y の分散か何か?にしては説明がなさすぎる...。
  • I_D が出てくるが、その後には I_C の説明がある。これは notation の間違いっぽい?
  • u は太字だがスカラーっぽい?
  • 同ページ右側の式(10)の上に u が出てくるが、こっちには添字がついている。これはクラスごとに計算している?
  • クラスごとの計算をまとめていて、頭に τ でクラスごとの分散を足している...?
• Section 4 について、式(10)上部の流れがどこからきたのか分からない。
  • 急に出てきた margin m と u (Section 3 の u と同じなのかも不明) はどういう理屈で出てきたのか?
  • [32] を読めば分かるのかもしれないが...
  • 式(10) の下の式の φ は一体どこから出てきたのか?
  • r も。
• Section 5 の式(12) はとりあえず誤分類してるかどうかだけを雑にみたいからこれで良いということ?
• Section 5 で誤分類先のクラスの代表ベクトル w_j を使っているが、これはすべてのクラスに対して計算している?特に記載がないように見える...。
• Section 5 の式(15) は重みを頭に掛けてるが、これはどういう理屈?

[jzl507]

Do you have the source code for this paper?