[2019] Max-margin Class Imbalanced Learning with Gaussian Affinity

[cfiken]

0. 論文

タイトル

Max-margin Class Imbalanced Learning with Gaussian Affinity

リンク

https://arxiv.org/abs/1901.07711

著者

Munawar Hayat, Salman Khan, Waqas Zamir, Jianbing Shen, Ling Shao

投稿日付

20190123

1. どんなもの？

Class-Imbalanced なタスクに対する新しい損失関数 Affinity Loss を提案した。 近年注目されている max-margin loss 系の手法は、特徴空間を超球面上の多様体という仮定を置いて angular distance (cosine similarity) を使っており、顔認識タスク以外の汎化性能の低下につながるとしている。 提案手法では、類似度をガウスカーネルで定義しそれを基にロスを設計することで、マージンが明示的に入れることができ、かつ最適化の過程でクラスタリングも同時に行えるようになり、結果的にクラス内分散は小さく、クラス間距離が離れるように表現を学習できる。

図は MNIST において、0~4 を10%のサンプルで学習させたときの特徴の分布。

左の Softmax の場合は、クラス内分散はデータ数の多いクラスが大きくなっている。クラスタリングも同時に行ったのが中央だが、一部のクラスが中央下に固まってしまっている。右の提案手法ではクラス内分散は一定で、かつ同じくらいの距離でクラスごとに分布しているのが分かる。

多くの実験で既存手法に比べて性能を改善した。

2. 先行研究と比べてどこがすごい？

近年行われている hypersphere の表面上に分布を制限したマージン系損失関数とは異なるアプローチによる提案。 分類とクラスタリングが同時にうまく行われる損失関数 Affinity Loss を定義した。

3. 技術や手法のキモはどこ？

Affinity Loss

• Softmax loss を使わず、定義した類似度に基づいてロスを計算している。
• 提案されている類似度は、特徴 f と各クラスの代表ベクトル w のガウスカーネルによるもの。
  • 
• 損失関数は、ターゲットとその他の代表ベクトルとの類似度の差にマージン λ を加えたもの
  • 

Diversity Regularizer

• 上記 Affinity Loss に加えて、 diversity regularizer と呼んでいるクラス間距離を一定にするための正則化項を追加している。
  • 

Multi centered learning

• 代表ベクトルが1つだと、複雑な形状の分布を処理できない。
• 複数代表ベクトルをもたせることでこれに対応する。これがラベルノイズへの対応にもなる。
• 差分は類似度の計算式を少し変えるだけ。m 個の代表ベクトルを各クラスで持つとすると、
  • 
• diversity regularizer は、すべて (m × C) の代表ベクトルについて計算する。

4. どうやって有効だと検証した？

DIL による皮膚病検知タスク、顔認識の LFW, YTF, CFP, AgeDB などで SoTA を更新。 MNIST を人工的に Imbalance にしたデータセット (0-4 を減らす) で様々な実験を行い、提案手法の有効性を確認した。 具体的には Softmax loss と比較して Imbalance であるほど高い分類精度、ノイズを人工的に含めたデータで実験しロバスト性も改善など。 ablation study として multi centered モデルでの m や分布の広がりを表す σ を変動させた実験も行っている。

5. 議論はある？

論文中では特にない。 メインの実験は MNIST で、他のデータでも確認したいところ。 皮膚と顔認識ではハイパーパラメータである m と σ が特に記載されておらず、再現性が怪しい。

6. 次に読むべき論文は？

[cfiken]

発想が新しい上に精度も高いが実験が本当に差があるのかたまたま良いのかが不安。 新しいロスも含めて MNIST や CIFAR などを imbalanced にしたデータで実験したい。 実装はややこしくなさそうなのでその点も良い。