e4exp
commented
3 years ago 1. はじめに
実世界のビジュアルデータは、少数のオブジェクトクラスが非常に多く、多くのクラスが稀であるロングテール分布に従うことが多い(Zhu et al., 2014; Liu et al., 2019; Gupta et al., 2019)。 しかし、多くの既存のデータセットは、バランスが取れているようにキュレーションされており（Krizhevskyら、2009年、Everinghamら、Linら、2014年）、これらのデータセットで開発・テストされた手法の性能と、実世界に展開されたときの性能との間に矛盾が生じている。 多くのアプリケーションでは、希少なクラスのローカリゼーション/認識が重要であり、例えば、自律走行において、エゴカーは、システムがトレーニングデータであまり見たことのない特定の動物などのオブジェクトをローカリゼーションし、反応できることが期待されている。 本論文では、ロングテールの物体検出（およびセグメンテーション）の問題に取り組みます。
ロングテールの認識は、大規模な視覚認識ベンチマークのリリースによって促進され、最近普及している(Liu et al., 2019; Gupta et al., 2019)。 人気のあるアプローチには、クラス頻度に応じた損失関数の再重み付け（Tan et al., 2020）、表現と分類器の切り離し（Kang et al., 2019）のほか、特徴の正規化（Chen et al., 2019; Wang et al., 2020）、微調整（Wang et al., 2020）、メタ学習（Wang et al., 2017）などの数撃ちゃ当たる学習手法がある。 これらの技術に加えて、リピートファクターサンプリング（RFS）（Mahajan et al., 2018; Gupta et al., 2019）が、シンプルだが人気のある画像リサンプリングのベースラインとして登場している。 希少なクラスを含む画像を各エポックで繰り返すことで、この手法はロングテールの分類問題でうまく機能することが示されています（Wang et al.2018; Kang et al.2019）。 しかし、経験的に有効であることが示されていても（Gupta et al., 2019）、物体検出に同じ手法をいきなり適用することは、一般的な画像には異なるクラスの複数の物体が含まれていることが多いという事実を無視している。 これは、図1に示すように、頻出クラスと希少クラスが共通して共起していることで悪化する。 したがって、画像のリサンプリングだけでは、学習分布のバランスをうまくとることができません。
検出の特別な側面として、オブジェクトが基本単位であることが挙げられます。 このため、オブジェクトレベルでの分布をバランスよくすることができる、オブジェクト中心のサンプリング戦略が必要となります。 この目標を達成するのは簡単ではありません。 というのも、現在のオブジェクト検出のトレーニング方法では、画像レベルのバッチ・サンプリングが依然として主流のパイプラインだからです。 例えば、対象となる希少クラスを含む追加の画像やオブジェクト群をサンプリングするなど、このパイプラインと互換性のある簡単な変更を検討することは可能です。 しかし、特に分布が非常に不均衡な場合には、学習時に余分な前方伝播と後方伝播を行うことで、追加の計算コストが発生する可能性があります。 また，サンプリングされた画像全体を入力とする場合には頻出クラスを無視する必要があり，オブジェクトの切り出しだけを入力とする場合には画像のコンテキストが失われるなど，複雑な問題が生じる可能性がある．
我々は、各バッチに関心領域（RoI）の特徴とそれに対応するボックスの位置を追加する、新しいオブジェクト中心のメモリ再生フレームワークを提案することで、これらの問題に対処する。 我々のフレームワークの核となるのは、前回のフォワードプロパゲーションで得られたRoI特徴を再利用するというアイデアである。 これを実現するには，RoI特徴とボックスの座標を格納する動的なメモリバンクを導入する必要があります。 このメモリバンクは、新たに計算されたRoI特徴のバッチをプッシュすることで、反復ごとに継続的に更新され、基本的には、各クラスのRoI特徴を蓄積するための限られたサイズのバッファとして機能します。 不均衡な入力分布の下では、頻繁に使用されるクラスのバッファは早く満たされ、更新されますが、まれなクラスのバッファは時間の経過とともに満たされます（ただし、ゆっくりと）。 このように、メモリバンクを利用することで、順方向/逆方向の伝搬を追加することなく、効率的にオブジェクトのリサンプリングを行うことができます。
上記の戦略には、さらに2つの利点があります。 (1) メモリバンクには、過去のモデルスナップショットからの特徴が含まれているため、時間を超えたモデルレベルの補強が可能です。 (2) モデルは継続的に更新され、画像はランダムに追加されるため、同じオブジェクトのボックスの位置は、時間の経過とともにわずかに異なる可能性があります。 このように、我々のOCSフレームワークは、様々なレベルでの多様な補強を実現することができます。 我々は、画像レベルとオブジェクトレベルのリサンプリングの両方について詳細な分析を行い、検出のための見落とされた落とし穴を検討する。
この2つの戦略はリサンプリングの異なる側面を捉えていますが、実際には相互に排他的なものではありません。 メモリバンクは、時間をかけて特徴を蓄積することで不均衡な分布に対抗することができますが、我々の分析によると、特定の非常に稀なクラスは、1つのエポックに数回しか現れません。 これは、特徴が著しく古くなり、メモリバンクの品質を低下させることにつながります。 幸いなことに、このような問題は、RFSベースの画像リサンプリングで直接解決することができます。 そこで我々は、画像レベルとオブジェクトレベルのリサンプリングが共生できることを主張し、RIO（Resampling at Image-level and Object-level、図1）と呼ばれる共同リサンプリング戦略を提案する。 我々は、ロングテール検出のために現在最も人気があり挑戦的なベンチマークであるLVISで、我々の手法の有効性を紹介する（Gupta et al.、2019）。 これまでの手法では、全体的な精度は向上するものの、希少なクラスでは共通クラスや頻出クラスとの間に依然として大きなギャップが見られます。 我々の手法はこの問題を大幅に軽減し、全体的にも希少クラスでも最先端の性能を発揮することができます。
貢献の概要
- 我々は、メモリバンクに基づいた新しいオブジェクト中心のメモリ再生戦略を提案する。我々の手法は、暗黙の増強を伴う効率的なオブジェクトレベルのサンプリングを行うことができる。
- 我々は、オブジェクト中心のメモリ再生において、イメージレベルとオブジェクトレベルの両方で分布のバランスをとることの重要性を示す。このことから、両方の方式を統合したリサンプリングフレームワークであるRIOを提案することになりました。
- 我々のフレームワークは非常にシンプルですが、意欲的です。提案手法は、全体的な精度と希少なクラスの精度の両方において、最先端の性能を達成している。
分類や検出などの主要な認識タスクにおいて、ロングテール分布を持つデータセットでの学習は困難でした。 この課題に対処するために，画像のリサンプリングが単純かつ効果的なアプローチとして一般的に導入されている． しかし，ロングテールの検出は，1つの画像に複数のクラスが存在する可能性があるため，分類とは異なります． そのため，画像のリサンプリングだけでは，オブジェクトレベルで十分にバランスのとれた分布を得ることはできない． 本研究では，動的なエピソード記憶バンクに基づいたオブジェクト中心の記憶再生戦略を導入することで，オブジェクトレベルのリサンプリングに対処する． 我々の提案する戦略には2つの利点がある。
1）余分な計算をせずにオブジェクトレベルのリサンプリングが可能であること、 2）モデルの更新による暗黙的な特徴レベルの拡張が可能であること。
我々は、画像レベルとオブジェクトレベルの再サンプリングがともに重要であることを示し、共同再サンプリング戦略(RIO)でそれらを統一する。 我々の手法は、LVIS v0.5において、様々なバックボーンで最先端のロングテール検出およびセグメンテーション手法を凌駕する。