e4exp
commented
3 years ago 1 はじめに
視覚言語事前学習（VLP）は，Visual Question Answering（VQA）やVisual EntailmentなどのVisual-Language（VL）タスクに大きな効果があることが，最近の多くの研究で示されています[9, 28, 29, 32, 36, 38, 46]。 VLPは、膨大な数の画像とテキストのペアに対して、視覚と言語（VL）の共同表現とアライメントを学習するように設計されています。 これは、下流のVLタスクのためのマルチモーダル表現の強力な初期化を微調整しながら提供するものである。 本論文では、イントラ・モーダルおよびインター・モーダル学習の観点から、VLPの主な課題であるマルチモーダル表現の改善方法を探ります。 既存の研究では、画像特徴を視覚的トークンとして使用し、マルチモーダルトランスフォーマーを用いて単語トークンとのアライメントを学習しています。 VLPのための画像表現には大きく分けて、領域特徴、グリッド特徴、パッチ投影の3種類がある。 ほとんどのVLPアプローチ[9, 38, 36]では、既製のオブジェクト検出器を用いて領域ベースの画像特徴を抽出します。 VLPの各ビジュアルトークンは，あらかじめ定義された領域特徴に対応しています． 最近の研究では、バウンディングボックスや事前に定義されたオブジェクトカテゴリの制限を解除するために、CNNによって画像からグリッド特徴を直接学習するものがある[19, 18]。 これらの研究では、CNNとマルチモーダル・トランスフォーマーをエンド・ツー・エンドで学習し、事前学習の目的に合わせて最適化された視覚的特徴を実現しています。 CNNによる視覚的特徴の学習以外にも、最近の研究ViLT[25]では、画像パッチの投影をマルチモーダルトランスフォーマーに直接入力し、最も軽量なVLPアーキテクチャで最速の推論速度を実現しています。
ビジョン・ランゲージ（VL）タスクでは、視覚的な概念の関係性が重要となる。 例えば、サーフィンをしている男性の画像を与えて「その男性は何をしているのか」と問う場合、VLモデルはオブジェクト「男性」とオブジェクト「サーフボード」から「サーフィン」の関係を推論する必要があります。 しかし、既存の3種類の画像表現では、視覚内の関係をモデル化することができませんでした。 リージョン特徴とパッチ投影は、それぞれのユニット（バウンディングボックスやパッチ）が独立しており、グローバルな関係が視覚的な埋め込みにエンコードされていません。 一方、CNNが学習するグリッド特徴では、畳み込み層の局所的な受容野により、隣接領域の局所的な特徴が得られる。 このように、視覚的関係の学習とインターモーダル・アライメントの2つの目的が、1つのTransformerネットワークに内包されています。 このような設計は、それぞれの目的に特化した特性を無視することで、Transformerでのインターモーダル・アライメント学習を制限する可能性があります。 一方、言語の場合、テキストは高度に構造化されており、文法から関係が明示されています。 このような異なるモダリティの矛盾した表現は、マルチモーダルなTransformerのインターモーダル・アライメントから気をそらすことになります。
視覚的な関係をよりよく学習し、インターモーダルな整合性をさらに促進するために、我々は、視覚的特徴の学習に自己注意を採用した完全なTransformer VLPモデルを提案します。 自己注意は、空間的な帰納的バイアスを解消し、視覚的特徴の長距離グローバル関係学習を可能にします。 これにより、マルチモーダルなTransformerをマルチモーダルな共同学習に特化させることができます。 Self-attentionメカニズムでは、各視覚的トークンは、すべてのトークンの近似的な重み付き混合物です。 重みが大きいほど依存度が高いことを示します。 このような画像特徴の学習方法をビジュアルパーシングと呼んでいます。 視覚的解析は、各視覚的トークンペアの依存関係を提供するので、依存性の高い視覚的トークンをマスクして、マルチモーダル・トランスフォーマーに言語側を見させることで、インターモーダル学習をさらに促進することができます。 我々の目標は、インターモダリティ学習の促進です。 これを調べるために、VLPにおけるインターモダリティの融合を測定するために、Attention Flow [1]をベースにしたInter-Modality Flow (IMF)という指標を提案しています。 IMFは、2つのモダリティ間の情報の流れを定量化することを目的としています。
本手法の有効性を検証するために，視覚的関係性の理解やインターモーダルな推論に関連する幅広いビジョン言語タスクの実験を行った． 我々のアプローチは、最先端のVLP性能を上回るだけでなく、IMF指標においても利点を示した。 また、我々の提案する自己注意型視覚解析および解析に基づくマスキングメカニズムの有効性を実証するために、広範囲なアブレーション研究を行った。 視覚言語事前学習におけるインターモダリティ学習を、情報の流れとデータの分配の観点から徹底的に検証します。 その結果、視覚と言語がどのように融合しているかを明らかにしました。 我々の貢献は以下の通りである。 我々のアプローチの有効性を検証するために、視覚関係の理解とインターモーダルな推論に関連した広範囲の視覚言語タスクの実験を行う。 我々のアプローチは、最先端のVLPの性能を上回るだけでなく、IMF指標においても利点を示した。 また、我々の提案する自己注意型視覚解析および解析に基づくマスキングメカニズムの有効性を実証するために、広範囲なアブレーション研究を行った。 視覚言語事前学習におけるインターモダリティ学習を、情報の流れとデータの分配の観点から徹底的に検証します。 その結果、視覚と言語がどのように融合しているかを明らかにしました。我々の貢献は以下のようにまとめられます。
1 マルチモーダル・トランスフォーマーのインターモダリティ学習を促進することを目的として、VLPの視覚的特徴の学習に自己注意を採用したのは我々が初めてである。我々のモデルは、広範囲の視覚言語タスクにおいて、既存の作品よりも優れている。 2 VLPにおける視覚と言語の融合を測定し明らかにするために、新しいインターモダリティフロー（IMF）メトリックを提案する。 3 自己注意のための新しいマスキング最適化ターゲットを設計し、インターモーダリティ学習をさらに促進させることを、よくデザインされたアブレーション研究によって検証する。
視覚言語の事前学習（VLP）は、画像とテキストのペアからマルチモーダルな表現を学習し、下流の視覚言語タスクのために微調整を行うことを目的としています。 一般的なVLPモデルは、CNN-Transformerアーキテクチャを採用しており、画像をCNNで埋め込み、画像とテキストをTransformerで整列させます。 視覚コンテンツ間の視覚的関係は、画像理解において重要な役割を果たし、インターモーダルアライメント学習の基本となる。 しかし、CNNは局所的な受容野が長距離の依存関係をモデル化するのに弱いため、視覚的関係の学習には限界があります。 このように、視覚関係の学習とインターモーダル・アライメントの学習という2つの目的が、同じTransformerネットワークに内包されています。 このような設計は、それぞれの目的に特化した特性を無視することで、Transformerにおけるインターモーダルアライメント学習を制限する可能性があります。 この問題に対処するために、我々はVLPのための完全なTransformer visual embeddingを提案し、視覚的関係をより良く学習し、さらにinter-modal alignmentを促進します。 具体的には、視覚モダリティと言語モダリティの間の相互作用（インターモダリティ）を測定するために、インターモダリティ・フロー（IMF）という指標を提案します。 また、Transformerにおいて、Masked Feature Regression (MFR)という新しいマスキング最適化メカニズムを設計し、インターモダリティ学習をさらに促進します。 我々の知る限り、本研究は、VLPにおける視覚的特徴の学習に対するTransformerの利点を探る最初の研究です。 本研究では、Visual Question Answering (VQA)、Visual Entailment、Visual Reasoningを含む広範囲の視覚言語タスクで本手法を検証した。 我々の手法は、最先端のVLPの性能を上回るだけでなく、IMF指標においても利点を示した。