e4exp
commented
2 years ago 
1 はじめに
視覚表現学習の伝統的なアプローチは、離散的なラベルを使用して、固定されたオブジェクトカテゴリーのセットに対して予測するようにビジョンモデルをトレーニングすることである（He et al.2016; Dosovitskiy et al.2021）。 しかし、このアプローチでは、視覚認識システムが学習時に定義された閉じたセットの視覚的概念に限定され、新しい分類器を学習するために追加のデータが必要となるため、ターゲット環境に展開されると新しいカテゴリーを扱うことができなくなる。
近年、CLIP (Radford et al., 2021) や ALIGN (Jia et al., 2021) などの視覚言語の事前学習が有望な選択肢として浮上している。 主なアイデアは、2つの別々のエンコーダ（各モダリティ用）を使用して、画像と生のテキストを揃えることです。 大規模な事前学習により、視覚言語モデルはオープンセットの視覚的概念を学習することができ、下流のタスクに容易に移行することができる。 特に、新しい分類タスクでは、関心のあるクラスを記述する自然言語をテキストエンコーダーに入力して分類重みを合成し、画像エンコーダーが生成する画像特徴と比較することができます。 事前に学習された視覚言語モデルでは、プロンプトと呼ばれるテキスト入力が、下流のデータセットで重要な役割を果たしていることがわかった。 しかし、適切なプロンプトを特定することは簡単なことではなく、わずかな表現の変更が性能に大きな違いをもたらすため、言葉のチューニングには多大な時間がかかることが多い。 例えば、Caltech101（図1（a）、2番目と3番目のプロンプト）では、クラストークンの前に「a」を追加することで、精度が5％以上向上しています。 さらに、プロンプトエンジニアリングには、タスクに関する専門知識と、理想的には言語モデルの基本的なメカニズムが必要です。 図1(b-d)では、タスクに関連したコンテキストを追加することで、大幅な改善が得られることが示されている。 例えば、Flowers102ではクラストークンの後に "a type of flower "を置き、DTDでは "texture "のみを文脈に残し、EuroSATでは "satellite photo "の前に "centered "を追加するなどです。 しかし、広範囲に渡ってチューニングを行っても、結果として得られるプロンプトは、下流のタスクに最適であることは決して保証されていません。
最近のNLPにおけるプロンプト学習の研究（Shin et al., 2020; Jiang et al., 2020; Zhong et al., 2021）にヒントを得て、我々はプロンプトエンジニアリングを自動化し、事前に学習された視覚言語モデルに対してより効率的かつタスクに特化した転送を可能にするコンテキスト最適化（CoOp）1を提案する。 具体的には、単語埋め込みと同じ次元のランダムなベクトルで基本的に初期化される連続的な表現を用いて、プロンプトのコンテキストをモデル化する（図2参照）。 文脈は、すべてのクラスで共有することも、クラス固有のものにすることもできます。 学習時には，学習可能な文脈ベクトルに対するクロスエントロピー損失を用いて予測誤差を最小化するだけで，事前に学習したパラメータは固定したままである． この勾配は，テキストエンコーダー全体に逆伝播し，タスクに関連したコンテキストを学習するためのパラメータにエンコードされた豊富な知識を抽出することができる．
CoOpの有効性を実証するために、11のデータセットでベンチマークを行いました。 これらのデータセットは、一般的なオブジェクト、シーン、アクション、細かいカテゴリの分類、テクスチャや衛星画像の認識などの特殊なタスクを含む、多様な視覚認識タスクをカバーしています。 その結果、CoOpは、事前に学習させた視覚言語モデルをデータ効率の良い視覚学習者に変えることができ、わずか1～2回の撮影で、手作りのプロンプトにかなりのマージンで勝てることがわかりました。 また、ショット数を増やすことで、さらに性能を向上させることができます。 例えば、16ショットの場合、手作りのプロンプトに対するマージンは、平均で約17％、最高では50％以上に達します。 CoOpはまた、強力な少数ショット学習ベースラインとして知られる線形プローブの代替案を上回り(Tian et al., 2020)、重要なことに、分布の変化に対してはるかに強いロバスト性を示します。 また、CoOpを実際に適用するための包括的なイメージを提供するために、広範な分析が行われています。 ソースコードは https://github.com/KaiyangZhou/CoOp で公開されています。
視覚言語の事前学習は、近年、表現学習の有望な選択肢として浮上している。 これは、固定された重みのセットを学習するために画像と個別のラベルを使用するという伝統的な方法から、2つの別々のエンコーダのために画像と生のテキストを揃える方法へと移行します。 このようなパラダイムは、より広範な監視源の恩恵を受け、視覚的概念がプロンプトとして知られる自然言語から正反対に生成されるため、下流のタスクにゼロショットで移行することができる。 本論文では、このようなモデルを実際に展開する際の主要な課題は、プロンプトエンジニアリングであることを明らかにしました。 これは、適切なプロンプトの設計、特にクラス名を取り巻く文脈語の設計には、ドメインの専門知識が必要であり、言葉遣いのわずかな変更がパフォーマンスに大きな影響を与える可能性があるため、一般的に言葉のチューニングには膨大な時間がかかるためです。 さらに、下流のタスクによっては特定のデザインが必要となるため、展開の効率がさらに悪くなります。 この課題を解決するために、私たちは「コンテキスト最適化（CoOp）」という新しいアプローチを提案しています。 その主なアイデアは、連続的な表現を用いてプロンプト内のコンテキストをモデル化し、事前に学習したパラメータを固定したまま、データからエンドツーエンドの学習を行うことです。 このようにして、タスクに関連したプロンプトの設計を完全に自動化することができる。 CoOpは、事前に学習された視覚言語モデルをデータ効率の良い視覚学習者に変えることができることを、11のデータセットを用いた実験で示しました。 また、CoOpは分布の変化にも強い耐性を持っています。