e4exp
commented
2 years ago 1 はじめに
変換アーキテクチャが登場し（Vaswaniら、2017年）、自然言語処理（NLP）タスクでの使用に初めて成功して以来（Devlinら、2018年）、ビジョンタスクに使用されるようになり（Dosovitskiyら、2021年、Wangら、2021年）、最終的にはビジョン・言語タスクに使用されるようになりました（Suら、2020年、Luら、2019年、Liら、2020年）。 視覚と言語の事前学習のために、研究者は、 i)多様なアーキテクチャ、 ii)損失関数、 iii)マスキングポリシーを提案している。
モデルアーキテクチャは、画像を変換器への適切な入力シーケンスに変換するための異なる技術を採用している。 損失関数は、画像領域のモデリングや、テキストと画像の間のアライメント関数を介したクロスモダリティの相互作用のために設計されている。 マスキング戦略は、このアライメントを乱さないようにすることを目的としています。 これらの技術は、いずれも最先端の技術であり、貴重な洞察を与えてくれました。 しかし、これらの技術をどのように統合すれば、マスキングされた言語モデリング（MLM）ロスやテキスト・トークン・マスキングを用いたテキスト変換器の事前学習に匹敵するレベルの単純さと精度を、視覚と言語の事前学習で実現できるのかは不明です。
画像埋込器は、画像を埋込シーケンスに変換します。 画像埋め込みシーケンスは、テキストトークン埋め込みシーケンスと連結され、変換器に転送されます。 ほとんどのVLPモデルでは、画像埋め込み装置としてオブジェクト検出器を使用しています。 これらのオブジェクト検出器は、Visual Genome (Krishna et al., 2016)またはImageNet分類(Russakovsky et al., 2015)データセットで訓練された深層畳み込みモデルである。 オブジェクト検出器は、元々の検出カテゴリに限定されており、重量級のモデルです。 エンド・ツー・エンドのトレーニングでこれらのモデルを適応させることができるが、VLPモデル（オブジェクト検出器＋変換器）の計算量やエンド・ツー・エンドの深さがトレーニングや推論の問題になることがある。 視覚的変換器（ViLT）は、深い画像埋め込みを除去し、グリッドで定義された画像パッチへの線形投影を介して、ピクセルレベルの入力を変換器に直接供給する(Kim et al., 2021)。 ViLTは計算の複雑さを大幅に軽減するが、画像特徴の学習を変換器の層に任せ、テキストと画像埋め込みの相互作用を変換器の後の層に制限する。 我々は、浅いCNNモデルをエンベッダーとして使用することで、低レベルのピクセルデータに対する高レベルの特徴を学習し、トランスフォーマー層全体でより良いクロスモダリティの相互作用を可能にすることを提案する。 言語モデリングのためのMLM損失に加えて、Masked Image-Region Modeling (MIRM)は、画像モデリングのために様々な損失関数を使用する。
UNITERは，オブジェクト検出器から得られたRoI-特徴と予測されたオブジェクトクラスを，マスクされた画像領域のターゲット特徴とターゲットラベルとして使用する損失関数を提案する(Chen et al., 2020)． 損失関数のもう一つのカテゴリーは、クロスモダリティの相互作用を促すためのアライメントベースの関数である。 アラインメントに基づく目的の中には、画像とテキストの融合表現を一致させることを目的とするものがある（例えば、画像テキストマッチング（ITM））。 他のアライメント目的は、より細かい解像度で動作し、トランスポートプランを介してシーケンスポジションレベルでテキストや画像の表現を揃えることを目的としている。 ITMでは、正と負のペアが必要です。 我々は、このようなペアを用いたトレーニングは、下流のタスクに適していると考えており、ネガティブ/ポジティブの定義は、事前トレーニング中に一般化を妨げる可能性がある。
また、これらの損失関数は、グランドトゥルースのラベルを使用せず、ヒューリスティックに依存しています。 我々は、テキストトークンに対するMLM損失と同様に、ヒューリスティックに基づかない損失関数を用いて、グランドトゥルースターゲットを定義する事前学習方法を設計することを目的としています。 我々は、マスクド・イメージ・モデリング（MIM）のための画像再構成（RECON）タスクを、画像そのものをターゲットとして使用する。 テキストトークンのマスキングは簡単ですが、画像モデリングのマスキングは簡単ではありません。 オブジェクト検出器によって検出された画像領域は、画像内の意味的に重要な領域を定義するため、マスキングの良い候補となります。 しかし、これらの領域はグランドトゥルースに依存せず、オブジェクト検出器の予測を使用するため、重いモデルが必要となります。 また、マスキングは、テキストと画像の入力に対して独立して実行されると、クロスモーダルなアライメントを壊してしまう可能性があります。 両方のモダリティで対応する表現をマスキングするためのこれらの要件を回避するために、テキストジェネレータを用いて得られる粗いアライメントが利用される（Zhuge et al. 我々は、オブジェクト検出器やアライメントに基づく目的を使用しないことで、これらの問題を回避する。
本論文では、VLPのペーントレーニングのために、Masked Language and Image Modeling (MLIM)を導入する。 我々は、モデル内の主要コンポーネントとしてTransformer (Vaswani et al., 2017) を使用します。 画像の埋め込みとマスキングの実行にはShallow-CNNベースの画像埋め込み器を使用し、RECON損失の計算にはCNNベースの画像デコーダを使用しています。 テキストのトークン予測性能の測定にはMLM損失を、画像再構成性能の測定にはRECON損失を使用しています。 MLM損失はマスキングされたテキスト・トークンに対してのみ定義されるのに対し、RECON損失は画像の全ピクセルに対して定義されます。 MLM損失とRECON損失を組み合わせることで、テキストと画像の再構成性能を把握することができます。 クロスモダリティのインタラクションには、アライメントベースの損失関数を使用せず、モダリティ・アウェア・マスキング（MAM）を使用しています。
MAMには3つの動作モードがあります： （1）重い画像マスキング、 （2）重いテキストマスキング、 （3）軽い画像マスキングと軽いテキストマスキング。
最初の2つのモードは、モダリティを超えた情報の流れを促進する。 イメージエンベッダーを用いて、イメージエンベッディングをテキストトークンエンベッディングと共通のエンベッディング空間にすることを目指しています。 イメージエンベッダーの出力に対して、イメージマスキングを行います。 MAMは、変換前の画像とテキストの入力をマスクし、MLM + RECON損失は、再構成されたテキストと画像の品質を測定します。 独自に開発した電子商取引のマルチモーダルデータセットを用いて、我々のVLP事前学習手法の有効性を実証した。
我々の貢献は以下のようにまとめられる。
- 画像再構成（RECON）損失の使用を提案し、MLM＋RECONによる事前学習により、アライメントに基づく損失関数や画像領域モデリングに基づく損失関数の必要性がなくなることを示す。これにより、損失関数の設計が簡素化され、学習インスタンスを作成するために画像とテキストのペアを必要としない。
- 画像埋め込み装置として浅いCNNを使用します。我々の画像埋め込み装置は、ResNetのようなディープモデルよりもはるかに軽量で、画像マスキングにも適しています。浅いCNNの画像埋め込み器は、画像ピクセルをより高いレベルの表現にすることができ、画像埋め込みとテキスト埋め込みの間の相互作用を促進することができることを示します。
- MAMは、クロスモーダルな情報の流れを促進するマスキングポリシーを介して、テキストと画像の再構成品質を捉える2つの損失関数を利用することを示す。
視覚と言語の事前学習（VLP）は，画像やテキストの入力を必要とする下流のタスクのモデル性能を向上させる． 現在のVLPアプローチは、
(i)モデルアーキテクチャ（特に画像エンベッダー）、 (ii)損失関数、 (iii)マスキングポリシーによって異なります。
画像エンベッダーは、ResNetのような深層モデルか、画像のピクセルを直接変換器に入力する線形投影のいずれかです。 一般的に、マスクドランゲージモデリング（MLM）の損失に加えて、クロスモダリティインタラクションにはアライメントに基づく目的が、マスクドイメージリージョンモデリング（MIRM）にはRoI特徴回帰と分類タスクが用いられる。 アライメントとMIRMの目的は、どちらもグランドトゥルースを持たないことがほとんどです。 アライメントに基づく目的は、画像とテキストのペアリングとヒューリスティックな目的関数を必要とする。 MIRMは物体検出器に依存している。 マスキングポリシーは、マルチモダリティを利用していないか、他のモデルによって生成されたアライメントと厳密に結合されている。 本論文では、VLPのためのMasked Language and Image Modeling (MLIM)を紹介する。 MLIMは2つの損失関数を用いる。 本研究では、クロスモダリティのインタラクションを高めるために、モダリティ・アウェア・マスキング（MAM）を提案し、テキストと画像の再構成品質を別々に捉えるMLMとRECONの損失を利用する。 MAMと結合したMLM+RECONタスクを用いて、簡略化したVLP手法を提示し、独自の電子商取引マルチモーダルデータセットにおいて、下流タスクのパフォーマンスが向上することを示す。