AdaCos: Adaptively Scaling Cosine Logits for Effectively Learning Deep Face Representations

[agatan]

• [1905.00292] AdaCos: Adaptively Scaling Cosine Logits for Effectively Learning Deep Face Representations

• CVPR 2019 Oral

metric learning の SoTAで、CosFace や ArcFace の発展型。 CosFace や ArcFace は、制約つき classification タスクとして学習すると良い精度の metric learning が達成できるという手法だった。 Triplet Loss などと比べると学習や実装も楽で精度も良いが、ハイパラの調整が結構難しいし問題の状況（クラス数）によって適切な値が全然ちがう。

この論文では

1. Fixed AdaCos
   • パラメータが学習に与える影響を定式化し、事前にクラス数から良いパラメータを算出する手法
2. Dynamic AdaCos
   • 学習が進むにつれて制約を厳しくしていくような adaptive なパラメータ決定方法を用いる

の 2 つを提案している。

おまけ

BERT + AdaCos で文章の意図をあてる few-shot learning が可能なのかちょっと実験してみた。

1. ja.wikipedia を cleaning して、「タイトル」と「段落のリスト」を集める
2. 段落を BERT でベクトル化 → 同じタイトルのものは同じクラスになるように学習

1000 クラス分類でも 80% くらいの精度