e4exp
commented
2 years ago 1 はじめに
物体検出は，マシンビジョンにおける重要なタスクであり，画像内の物体の位置を特定するととも に，物体をカテゴリーに分類することも含まれる． 高い検出精度を得るためには，大規模なデータセットを用いてモデルを学習する必要があります． しかし，このようなデータセットは，画像ごとに複数のバウンディングボックスを手動でアノテーションする必要があるため，収集に費用がかかります。 一方，ラベルのない画像は収集が容易で，手動のアノテーションも必要ありません。 近年，ラベル付きデータの必要性を大幅に減らすことができる，自己教師付き表現の学習が注目されている[24, 6, 23, 9]． このような自己教師付き表現は，ImageNet[13]のような大規模データセットの事前学習段階で学習され，物体検出を含む様々な知覚タスク[8]の性能を向上させ，教師付きの事前学習の相手よりも優れていることさえある． このような最近の進歩にもかかわらず，現在のアプローチは，物体を検出するための学習に焦点を当てていないため，物体検出のための優れた表現を学習する能力に限界があると我々は主張する．
ほとんどの過去の作品（例えば、MoCo [24]やSwAV [6]）は、検出アーキテクチャの一部のみを学習することに焦点を当てており、それは通常、検出器のサブネットワーク（例えば、ResNet [26]のような畳み込みネットワーク）です。 検出モデルが成功するためには、バックボーンを単独で学習するだけでは十分ではありません。 最近のUP-DETR[12]では、完全な検出アーキテクチャを学習していますが、画像内のランダムなパッチの検出を学習しているため、実際の物体の検出には向いていません。 この問題に対する我々のアプローチは異なっており、優れた検出器を学習するには、事前学習の段階で物体を検出することを学ぶ必要があるという観察に基づいている。
これを実現するために、我々は「DEtection with TRansformers based on Region priors」（DETReg）と呼ばれる新しいフレームワークを提案します。 DETRegは、2つの重要な事前学習タスクを導入することで、ラベルのないデータに対する検出器の学習に使用することができます。 「オブジェクト・ローカライゼーション・タスク "と "オブジェクト・エンベッディング・タスク "です。 1つ目の目的は、カテゴリーに関係なく、オブジェクトをローカライズするモデルを学習することです。 しかし、オブジェクトのローカライズを学習するだけでは十分ではなく、検出器はオブジェクトを分類する必要があります。 そこで、画像中の物体のカテゴリを理解することを目的とした「物体埋め込みタスク」を導入しました。 オブジェクト検出のための最近の変換器[4, 59]のシンプルさにヒントを得て、我々のアプローチはDeformable DETR[59]アーキテクチャをベースにしています。 しかし、ラベルのないデータからオブジェクトのローカライズを学習するにはどうすればよいのでしょうか？
幸いなことに、マシンビジョン・コミュニティは領域提案の問題に幅広く取り組んでおり、選択的探索（Selective Search）[47]のような効果的な手法があり、カテゴリーにとらわれない領域提案を、高い再現性で、既製品で、学習の必要なく作成することができます。 選択的探索の重要なアイデアは、オブジェクトが特定の構造的特性（連続性、階層性、エッジ）を示すことであり、かなり単純なプログラム（つまり、訓練を受けていない）手順で、これらの手掛かりを活用してオブジェクト提案を抽出することができる。 ここでは、これらの古典的なアルゴリズムが、検出器の教師なし学習に効果的に使用できることを示しています。 同様に、我々の「物体埋め込みタスク」は、ラベルのないデータから視覚的な表現を学習する自己教師付き手法の近年の成功に基づいています[6, 8, 10]。 これらの手法では，平行移動や軽度の切り抜きなど，物体のカテゴリを維持する変換に影響されない視覚表現の学習を促すことが重要なアイデアとなっている． 我々はそのような手法の一つであるSwAV [6]を用いて、潜在的なオブジェクトの埋め込みを取得し、それをDETRegのオブジェクト埋め込みの事前学習時のスーパーバイズに用います。 DETRegは上記の2つのタスクに対して、手動でアノテーションされたバウンディングボックスやカテゴリーを一切使用せずにトレーニングを行う。 このアプローチの主な利点は、DETRの全てのモデル・パラメータをトレーニングすることで、スーパーバイズがなくても意味のある検出を行うことができるようになることである（図1参照）。
我々は標準的なベンチマークを用いてDETRegを徹底的に評価しました。 標準的なベンチマークであるMS COCO [35]とPASCAL VOC [16]において、"低データ "トレーニングレジームを含む様々な設定でDETRegの広範な評価を行いました。 その結果、DETRegは全般的に、特に少量のアノテーションデータが利用可能な場合に、チャレンジングなベースラインよりも向上することが分かりました。 例えば、DETRegはPASCAL VOCではAPで4ポイント、MS COCOでは1.6ポイント、supervised pretrainedのDeformable DETRよりも向上しています。 また、データの1%のみを使用した場合でも、教師付きのDETRよりもAPで11ポイント以上向上しています。 さらに，SwAVで初期化したDeformable DETRに対して，PASCAL VOCではAPで2.5ポイント，MS COCOでは0.3ポイントの改善が見られました． また，「MS COCO」では，アノテーションされたデータを1%と2%だけ使用した場合に，APで5.7ポイントと5.8ポイントの改善が見られた． これらの結果から、DETRegは物体検出器モデルの事前学習に非常に有効なアプローチであることが示唆されました。
近年，教師なしの事前学習は，物体の検出をはじめとするコンピュータビジョンのタスクに有効であることがわかっている． しかし、これまでの教師なしのアプローチは、オブジェクトのローカライズという検出の重要な側面を扱うように設計されていません。 ここでは、領域プライアを用いたTRansformersによる物体検出のための、教師なしの事前トレーニング手法であるDETRegを紹介します。 物体検出の基礎となる2つのタスク、すなわちローカライゼーションとカテゴライズに基づいて、我々は2つの相補的な信号を組み合わせて自己教師化を行う。 物体の定位信号には、既製の教師なし領域提案法であるSelective Searchから得られる擬似的なグランドトゥルースの物体境界ボックスを使用する。 カテゴリー化信号は、不変的なオブジェクト表現を促進するオブジェクト埋め込み損失から得られ、そこからオブジェクトのカテゴリーを推測することができる。 この2つの信号を組み合わせて、大量のラベルなしデータから変形可能なDETR検出アーキテクチャを学習する方法を示します。 DETRegは、MS COCOやPASCAL VOCなどの標準的なベンチマークにおいて、競合するベースラインや従来の自己教師型手法よりも性能を向上させています。 またDETRegは、MS COCOにおいてラベル付きデータの1%、2%、5%、10%のみで学習した場合、従来の教師付きおよび教師なしのベースライン手法を低データ領域で凌駕しています。 コードと事前学習済みモデルについては、以下のhttps URLのプロジェクトページをご覧ください。
https://amirbar.net/detreg