The Norm Must Go On: Dynamic Unsupervised Domain Adaptation by Normalization

Information

Authors: M. Jehanzeb Mirza +
Organization: Graz University of Technology +
Paper: https://openaccess.thecvf.com/content/CVPR2022/papers/Mirza_The_Norm_Must_Go_On_Dynamic_Unsupervised_Domain_Adaptation_by_CVPR_2022_paper.pdf
Code: https://github.com/jmiemirza/DUA
Conference/Journal: CVPR2022

Summary

サマリ図表

どんな論文か？

自動運転のようなDynamicにドメインが変化するケースを想定したUnsupervised Domain Adaptation(UDA)手法を提案。Targetドメインから得られるデータを用いて、BNの統計量をオンライン調整しUDAを実現する。固定のMomentumを用いたBN統計量の推定と比較し、少量サンプルでの適応を実現。また統計量の安定性を改善が精度向上に結びついている。Classification、Object Detectionのタスクでその有効性を確認した。

新規性

UDAに有効なBN統計量の推定方法を定式化した点。特にオンライン適応にも対応可能なレベルでの少サンプル適応を実現した点が貢献として挙げられる。

結果

CIFAR-10C/100C, ImageNet-CでSOTAとComparableなエラー率を達成
KITTI-Fog/RainでObject Detectionに対する提案手法の有効性を確認（他UDA手法との比較はなし）

その他（なぜ通ったか？など）

Domain AdaptationにはBNよりLN・ GNの方が良い、という先行研究もあったがそれに対する位置付けはどうなのか？
Adaptationを重ねる実験（Fig. 4）では回数が増えるほどに精度が低下している傾向が見られる。Iterationを重ねても悪化したラインで収束している点が運用上の課題になりそう。

AtsukiOsanai / cv_survey

The Norm Must Go On: Dynamic Unsupervised Domain Adaptation by Normalization #45