e4exp
commented
3 years ago - はじめに
図1の画像を考えると，学習ラベルに存在する基本的なカテゴリ（例：おもちゃ）だけを認識することを超えて，語彙を拡張して新しいカテゴリ（例：おもちゃの象）を検出する物体検出器を設計することができるでしょうか？ 既存のオブジェクト検出アルゴリズムは，学習データに存在するカテゴリのみを検出するように学習することが多い． 検出語彙を増やすための一般的なアプローチは，より多くのカテゴリがラベル付けされた画像を収集することである． 最近，研究者たちは，大きな語彙を持つ新しい物体検出データセットを集めている[15, 25]． LVIS [15]は、1203のカテゴリを持つデータセットを構築することで、これらの努力のマイルストーンとなっている。 このように語彙が豊富な場合、すべてのカテゴリについて十分な学習例を集めることは非常に困難である。 Zipfの法則により，対象物のカテゴリは自然とロングテールの分布になります． 希少なカテゴリに対して十分な学習例を見つけるためには，指数関数的に多くのデータが必要となる[15]． このことは，大規模な語彙検出データセットの作成は，スケールアップにコストがかかることを意味する． 一方で，ペアとなる画像やテキストはインターネット上に豊富に存在する． 最近、Radfordら[33]は、4億個の画像とテキストのペアを用いて、ビジョンと言語の共同モデルを学習し、30以上のコンピュータビジョンデータセットで見事なゼロショット認識能力を実証した。 ゼロショット分類のための画像レベルの表現の学習には大きな成功を収めているが、ゼロショット物体検出のための物体レベルの表現の学習はまだ困難である。 本研究では、事前に学習したゼロショット画像分類モデルから知識を借りて、ゼロショット物体検出を可能にするというアイデアを検討する。
まず、ゼロショット画像分類モデルを使用するための簡単なアプローチを行います。 ゼロショット検出を， 1）一般化されたオブジェクトの提案と， 2）ゼロショット画像の分類という2つのサブ問題に変えます．
このアプローチは、R-CNN[13]の変形と見なすことができます。 基本カテゴリの例を用いて、領域提案モデルを学習します。 次に，事前に学習したゼロショット画像分類モデルを用いて，基本カテゴリと新規カテゴリの両方を含む，切り取られたオブジェクト提案を分類する． LVIS [15]では，すべての希少なカテゴリを新規カテゴリとし，それ以外のカテゴリをベースカテゴリとして扱うことで，性能をベンチマークした． 驚いたことに，新奇なカテゴリに対する性能は，すでに教師ありの場合と同等であった． しかし，この方法では，すべての物体提案を1つずつ分類モデルに入力する必要があるため，推論に非常に時間がかかる． さらに，基本カテゴリでの性能は非常に悪くなっている．
我々は，2段階のゼロショット検出器を学習するために，ViLD (Vision and Language knowledge Distillation) を提案する． ViLDは，テキストエンベッディングを用いた学習（ViLD-text）と，ゼロショット画像分類モデル（CLIP[33]など）によって推定された画像エンベッディング（ViLDimage）の2つのコンポーネントからなる． ViLD-textでは，事前に学習されたテキストエンコーダーにカテゴリのテキストプロンプトを入力することで，テキストエンベッディングを得る． そして，学習済みの検出分類器を，固定されたテキスト埋込 みに置き換える． 同様のアプローチは，以前のゼロショット検出の研究でも用いられている[3, 35]． しかし，これらの手法では，例えば[32]のように，言語コーパスから学習したテキスト埋め込みを用いているだけである． これに対して，我々は，例えば[33]のように，視覚データと一緒に学習されたテキスト埋め込みは，テキストプロンプト間の視覚的な類似性をよりよく表すことができると考えている． 例えば、「バケツ」と「ゴミ箱」は、GloVeでは遠くにありますが、CLIPでは形状の類似性から近くにあります。 LVISでは、CLIPのテキスト埋め込みを用いることで、新規カテゴリーの検索で10.1APを達成し、GloVeを用いた場合の3.0APを大幅に上回った。 ViLD-imageでは，事前に学習させた画像エンコーダに，カテゴリラベルの有無に関わらずオブジェクトを含むオブジェクトプロポーザルを与えることで，画像埋め込みを行う． そして，2段階のオブジェクト検出器の領域埋め込みを，この画像埋め込みに合わせる． ViLD-textとは異なり，ViLD-imageはカテゴリラベルを持たないオブジェクトプロポーザルを監視する．
テキストと画像の埋め込みを組み合わせて学習するViLDは，LVISの新規カテゴリに対して16.1APを達成し，教師あり学習のものを3.8上回ることができた． また，ViLD-textとCLIPの予測値をアンサンブルすることで，22.6APという最高の性能を得ることができた． さらに，LVIS上でViLDを用いて学習した検出器は，Objects365，COCO，PASCAL VOC Detectionなどの他のデータセットにも適用できることがわかった． 最後に、図1に示すように、このモデルが新しい細かいカテゴリーや属性を持つオブジェクトを検出できることを定性的に示します。 我々の貢献を以下のようにまとめる。
- ViLDは，ゼロショット画像分類モデルの知識を抽出したゼロショット検出手法である．
- ViLDは，難易度の高いLVISデータセットで評価された最初のゼロショット検出手法である．この手法は，新しいカテゴリーにおいて，教師あり学習の手法を上回っています．
- この発見は、ロングテールのインスタンスアノテーションを持つデータセットの拡張とは別に、大規模な語彙検出を扱うための新たな方向性を示唆している。
ゼロショット画像分類は、整列した画像とテキストのエンコーダーを学習することで、有望な進歩を遂げている。 本研究の目的は、バウンディングボックスやマスクアノテーションのない新規オブジェクトを検出することを目的としたゼロショットオブジェクト検出を進化させることである。 本研究では、Vision and Language knowledge Distillationを用いた学習手法であるViLDを提案する。 事前に学習したゼロショット画像分類モデル（CLIPなど）の知識を、2段階の検出器（Mask R-CNNなど）に蒸留します。 本手法では、検出器の領域埋め込みを、事前に学習されたモデルによって推測されたテキストおよび画像の埋め込みに合わせます。 また，学習済みのテキストエンコーダにカテゴリ名を入力して得られたテキスト埋め込みを，検出用の分類器として使用します． 次に，領域提案を学習済みの画像エンコーダに入力して得られる領域埋め込みと画像埋め込みの間の距離を最小化します． 推論の際には，ゼロショット検出のために，新規カテゴリーのテキストエンベッディングを検出分類器に含める． LVISデータセットを用いて，希少なカテゴリを新規カテゴリとして提示し，性能を評価した． ViLDは、マスクR-CNN (ResNet-50 FPN)を用いたゼロショット検出において、16.1のマスクAPrを得て、教師ありのモデルよりも3.8倍優れている。 このモデルは他のデータセットにも直接適用することができ，PASCAL VOC，COCO，Objects365において，それぞれ72.2 AP50，36.6 AP，11.8 APを達成した．