e4exp
commented
2 years ago 1 はじめに
VrDU（Visually-rich Document Understanding）は，スキャン／デジタル化されたビジネス文書（画像，PDFなど）を分析し，構造化された情報を自動的に抽出・整理して，多くのビジネスアプリケーションに役立てることを目的としています。 従来の情報抽出タスクとは異なり、VrDUタスクはテキスト情報だけでなく、視覚的に豊かな文書に不可欠な視覚情報やレイアウト情報にも依存します。 例えば、図1の文書には、デジタルフォーム、領収書、請求書、財務報告書など、さまざまなタイプのものが含まれています。 これは、文書の内容だけでなく、それぞれのスタイルやフォーマットによっても決まります。 したがって、注目するテキストフィールドを正確に認識するためには、視覚的に豊かな文書のクロスモダリティ性を利用することが不可欠であり、テキスト、視覚、およびレイアウト情報を単一のフレームワークでエンドツーエンドで共同モデル化し、学習する必要があります。 VrDUの最近の進展は、主に2つの方向性に分かれています。 第1の方向は、通常、テキスト情報とビジュアル／レイアウト／スタイル情報の間の浅い融合に基づいて構築されている（Yang et al., 2017a; Liu et al., 2019; Sarkhel & Nandi, 2019; Yu et al., 2020; Majumder et al., 2020; Wei et al., 2020; Zhang et al., 2020）。 これらのアプローチは、事前に訓練されたNLPモデルとCVモデルを個別に活用し、複数のモダリティからの情報を組み合わせて教師付き学習を行います。 しかし、これらのモデルは、文書の種類が変更されると、最初から学習し直す必要があることが多い。 また、ある文書タイプのドメイン知識を別の文書タイプに簡単に移すことはできず、一般的な文書レイアウトの局所的な不変性（例えば、キーと値のペアを左右に並べたレイアウト、表をグリッドに並べたレイアウトなど）を十分に活用することができません。 このため、第2の方向性は、異なるドメインの多数のラベルのない文書から得られるテキスト、視覚、およびレイアウト情報の深い融合に依存しており、事前学習技術がクロスモダリティの相互作用をエンド・ツー・エンドで学習する上で重要な役割を果たします（Lockard et al.2020; Xu et al.2020）。 このようにして、事前に学習されたモデルは、異なるドキュメントタイプからクロスモーダルな知識を吸収し、これらのレイアウトやスタイルの間の局所的な不変性が維持されます。 さらに、このモデルを異なる文書形式を持つ別のドメインに移植する必要がある場合、最先端の精度を達成するために汎用モデルを微調整するには、わずか数個のラベル付きサンプルで十分である。 そこで、本稿で提案するモデルは、第2の方向性に従い、VrDUタスクのための事前学習戦略をさらに改善する方法を模索する。
本論文では、LayoutLM（Xu et al., 2020）の改良版、通称LayoutLMv2を紹介する。 LayoutLMは、VrDUタスクのためのテキストとレイアウトのシンプルかつ効果的な事前学習法である。 従来のテキストベースの事前学習モデルとは異なり、LayoutLMは従来のテキスト埋め込みに加えて、2次元の位置埋め込みと画像埋め込みを使用します。 事前学習の段階では、
1）マスクされた視覚言語モデル、 2）マルチラベルの文書分類、
という2つの学習目的が用いられます。 このモデルは，IIT-CDIPデータセット（Lewis et al.2006）からの大量のラベル無しスキャン文書画像を用いて事前学習され，いくつかの下流タスクで非常に有望な結果を得た． 既存の研究成果を拡張し、LayoutLMv2モデルの新しいモデルアーキテクチャと事前学習の目的を提案する。 LayoutLMv2では、LayoutLMモデルのように画像埋め込みを微調整段階で組み合わせるのではなく、LayoutLMv2の事前学習段階で画像情報を統合し、Transformerアーキテクチャを活用して、視覚情報とテキスト情報の間のクロスモダリティの相互作用を学習します。 さらに、1次元相対位置表現（Shaw et al., 2018; Raffel et al., 2020; Bao et al., 2020）に触発されて、LayoutLMv2に、トークンペアの2次元相対位置表現を伴う、空間認識型自己注意メカニズムを提案する。 絶対的な2次元位置の埋め込みとは異なり、相対的な位置の埋め込みは、文脈的な空間モデリングのためのより広い視野を明示的に提供する。 また，LayoutLMv2では，マスクされた視覚言語モデルに加えて，2つの新しい学習目的を用いています． 1つ目は、提案されたテキスト-画像整列戦略で、画像内のテキストラインをカバーし、テキスト側で予測を行い、画像側でトークンがカバーされているかどうかを分類するものである。 2つ目は、これまでの視覚言語の事前学習モデル（Tan & Bansal, 2019; Lu et al., 2019; Su et al., 2020; Chen et al., 2020; Sun et al., 2019）で普及しているテキスト-画像マッチング戦略で、テキスト-画像ペアの一部の画像をランダムに別の文書画像に置き換えて、画像とOCRテキストが相関しているかどうかをモデルに学習させます。 このようにして、LayoutLMv2は文脈的なテキスト情報と視覚情報、そしてクロスモーダルな相関関係を単一のフレームワークで学習することができ、より優れたVrDU性能を実現しています。 事前に学習されたLayoutLMv2モデルの性能を評価するための下流タスクとして、6つの一般に公開されているベンチマークデータを選択しています。
これらのデータは、形式理解のためのFUNSDデータセット（Jaume et al.2019）、レシート理解のためのCORDデータセット（Park et al.2019）およびSROIEデータセット（Huang et al, 2019）はレシート理解のために、Kleister-NDAデータセット（Gralinski ´ et al., 2020）は複雑なレイアウトを持つ長文文書理解のために、RVL-CDIPデータセット（Harley et al., 2015）は文書画像分類のために、DocVQAデータセット（Mathew et al., 2020）は文書画像上の視覚的質問応答のために使用されています。 実験の結果、LayoutLMv2モデルは、バニラLayoutLMを含む強力なベースラインを凌駕し、これらの下流のVrDUタスクにおいて最先端の新しい結果を達成し、実世界の多数の文書理解タスクに実質的な利益をもたらすことが示された。 本論文の貢献は以下のようにまとめられる。
- 我々は、文書のテキスト、レイアウト、画像の情報を事前学習段階で統合するマルチモーダルなTransformerモデルを提案し、単一のフレームワークでクロスモーダルな相互作用をエンドツーエンドで学習します。
- また、マスクされた視覚言語モデルに加えて、異なるモダリティ間の整合性を確保するために、テキストと画像のマッチングとテキストと画像の整合性を新たな事前学習戦略として追加しました。また、空間を意識した自己注意メカニズムをTransformerアーキテクチャに統合しました。
- LayoutLMv2は、従来のVrDUタスクにおいてベースラインモデルを上回る性能を発揮しただけでなく、文書画像のVQAタスクにおいて新たなSOTA結果を達成し、VrDUのためのマルチモーダル事前学習の大きな可能性を示しました。事前学習されたLayoutLMv2モデルは、https://aka.ms/layoutlmv2 で公開されています。
テキストとレイアウトの事前学習は、効果的なモデルアーキテクチャと、大規模な非ラベルのスキャン/デジタル生文書の利点により、視覚的に豊かな文書理解タスクの様々な分野で有効であることが証明されている。 本論文では、マルチモーダルなフレームワークを用いて、テキスト、レイアウト、画像の事前学習を行うLayoutLMv2を発表します。 具体的には、LayoutLMv2では、既存のマスクされた視覚言語モデリングタスクだけでなく、新たにテキスト-画像間のアライメントタスクとテキスト-画像間のマッチングタスクを事前学習段階で使用し、クロスモーダルな相互作用をより効果的に学習しています。 また、Transformerのアーキテクチャに空間認識型の自己注意メカニズムを統合することで、モデルが異なるテキストブロック間の相対的な位置関係を完全に理解できるようにしました。 実験結果によると，LayoutLMv2は強力なベースラインを上回り，FUNSD（0. 7895 → 0.8420）、CORD（0.9493 → 0.9601）、SROIE（0.9524 → 0.9781）、Kleister-NDA（0.834 → 0.852）、RVL-CDIP（0.9443 → 0.9564）、DocVQA（0.7295 → 0.8672）など、視覚的に豊かな文書理解タスクにおいて、LayoutLMv2は強力なベースラインを上回り、最先端の結果を達成しました。 事前に学習されたLayoutLMv2モデルは、https://aka.ms/ layoutlmv2で公開されています。