e4exp
commented
2 years ago 1 はじめに
構造化文書の理解は，フォーム，領収書，請求書などのVisually Rich Documents (VRD)から構造化されたテキスト情報を自動的に探索するドキュメント・インテリジェンスの重要な要素である． このようなタスクは、VRDからテキストフィールドの重要な情報と意味的なエンティティ間のリンクを抽出することを目的としており、それぞれエンティティラベリングタスクとエンティティリンクタスクと名付けられています[15]。 構造化テキストの理解は、学界と産業界の両方で注目されています。 現実には、OA、会計システム、電子アーカイブなどのデジタルトランスフォーメーションプロセスの開発に重要な役割を果たしています。 また、企業にとっては、毎日何百万枚もの帳票や請求書を処理する時間を大幅に短縮することができます。 一般的な構造抽出手法は、ドキュメントのセマンティクスを理解するために、予備的な光学式文字認識（OCR）エンジン[19, 34, 39, 40, 47, 49]に依存しています。
図1に示すように、文書内のコンテンツは、テキスト検出器によっていくつかのテキストセグメント（ピンクの点線ボックス）として位置づけることができます。 エンティティフィールドは、部分文字、個々のセグメント、複数のセグメントラインの3つの形式で提示される。 従来のエンティティー・ラベリングの手法は、このタスクを逐次ラベリング問題として定式化していた。 この設定では、テキスト・セグメントは、事前に定義された順序を持つ線形シーケンスとして直列化される。 そして、名前付きエンティティ認識（NER）[17, 23]モデルを利用して、単語や文字などの各トークンにIOB（Inside, Outside, Beginning）タグを付けてラベル付けする。 しかし、トークンレベルで実行される方法では、機能が制限されます。 図1bおよび図1cの例のように、VRDは通常、複数のテキストセグメントで構成されています。 セグメントレベルのテキストコンテンツは、構造化されたテキストの理解に不可欠な、より豊かな幾何学的・意味論的情報を提供します。 いくつかの手法[1, 8, 14, 41]は、セグメントレベルの表現に焦点を当てています。 しかし、これらの手法では、図1aに示すような文字で構成されたエンティティに対応することができない。 そのため、セグメントレベルとトークンレベルの両方で構造を抽出する包括的な技術が検討に値する。 現在では、VRDから構造化されたテキストを正確に理解することが課題となっています。 成功の鍵となるのは、ドキュメント画像から複数のモーダルな特徴をフルに活用することです。 初期のソリューションでは、エンティティタスクを解決するために、プレーンテキストのみを操作していましたが、その結果、意味的に曖昧になっていました。 VRDには豊富な視覚情報が含まれているため、いくつかの手法[6, 16, 26, 32]では、2次元のレイアウト情報を利用して、テキストコンテンツを補完しています。 さらに、さらなる改善のために、主流の研究[2, 21, 24, 30, 38, 48, 50]では、文脈依存性を把握するために、テキスト、画像、レイアウトの浅い融合を採用しています。 近年，大規模データを用いてクロスモダリティの深い融合を共同学習するための事前学習モデル[28, 45, 46]がいくつか提案されており，文書理解において相手を上回る結果を得ている． これらの事前学習モデルは，文書のすべてのモダリティを考慮しているが，テキスト側に関連する貢献に焦点を当てており，視覚的特徴はあまり精巧ではない．
上記の限界に対処するため、本論文では、様々なレベルとモダリティの特徴を取り入れ、様々な文書構造の理解を効果的に向上させるStrucTexTという統一的なフレームワークを提案する。 本論文では、最近の視覚言語変換器の開発[22, 35]にヒントを得て、セグメントの画像と単語のトークンの両方からクロスモーダルな知識を学習する変換器エンコーダを導入する。 さらに、セグメントIDを埋め込むことで、視覚的特徴とテキスト的特徴を異なる粒度で関連付けることができます。 また、レイアウトの手がかりを得るために、2D位置の埋め込みを行います。 さらに、異なるレベルとモダリティの間で符号化された特徴にハダマード積を作用させ、高度な特徴融合を行います。 このように、StrucTexTは、構造化されたテキストを理解するためのセグメントレベルとトークンレベルのタスクを単一のフレームワークでサポートすることができます。 図2は、我々が提案する手法のアーキテクチャを示している。
マルチモダリティの表現能力を向上させるために、テキスト、画像、レイアウトの事前学習用に3つの自己教師付きタスクを導入しました。 具体的には，LayoutLM [45]の研究に倣い，文脈情報を抽出するためにMasked Visual Language Modeling (MVLM)タスクを利用します． さらに、Sentence Length Prediction (SLP) と Paired Boxes Direction (PBD) という2つのタスクを用意しました。 SLPタスクは、エンティティ候補の内部セマンティクスを強化するためのセグメント長を予測します。 PBDタスクは、サンプリングされたセグメントペア内の相対的な方向性を特定するためのトレーニングであり、フレームワークが幾何学的構造のトポロジーを発見するのに役立ちます。 3つの自己教師付きタスクは、文書のテキストとビジュアルの両方の特徴を最大限に活用しています。 本論文では、これらのタスクを用いた教師なしの事前学習を行うことで、より優れた特徴量のエンコーダを得ることができました。
本論文の主な貢献は以下の通りである。 (1) 本論文では、構造化テキスト理解のタスクに統一的なソリューションで取り組むために、StrucTexTと名付けられた新しいフレームワークを提示する。StrucTexTは、異なるレベルとモダリティから意味的特徴を効率的に抽出し、エンティティラベリングとエンティティリンクのタスクを処理する。 (2) 自己教師付き学習により、VRDからマルチモーダルな情報を抽出するために、改良されたマルチタスク事前学習戦略を導入する。テキストの文脈を活用するMVLMタスクに加えて、画像やレイアウトの特徴を活用するSLPとPBDの2つのタスクを新たに事前学習として提案した。この3つのタスクを事前学習の段階で採用することで、より豊かな表現を実現しています。 (3) 実世界のベンチマークを用いた広範な実験により、StrucTexTが最先端の手法と比較して優れた性能を発揮することが示された。また、アブレーションの研究では、事前学習戦略の有効性が示されました。
Visually Rich Documents (VRD)における構造化テキストの理解は、ドキュメント・インテリジェンスの重要な部分です。 VRDはコンテンツやレイアウトが複雑であるため、構造化テキストの理解は難しい課題でした。 既存の研究の多くは、この問題を「エンティティ・ラベリング」と「エンティティ・リンク」という2つのサブタスクに分離していますが、これらのサブタスクには、トークンとセグメントの両方のレベルでドキュメントのコンテキストを全体的に理解することが必要です。 しかし、異なるレベルから構造化されたデータを効率的に抽出するソリューションについては、ほとんど研究されていない。 本論文では、StrucTexTと名付けられた統合的なフレームワークを提案する。 具体的には、変換器に基づいて、セグメント・トークン整合型エンコーダを導入し、異なる粒度レベルのエンティティ・ラベリングとエンティティ・リンクのタスクを処理する。 さらに、より豊かな表現を学習するために、3つの自己教師付きタスクを用いた新しい事前学習戦略を設計しました。 StrucTexTは、既存のMasked Visual Language Modelingタスクと、新しいSentence Length PredictionタスクとPaired Boxes Directionタスクを用いて、テキスト、画像、レイアウトにまたがるマルチモーダルな情報を取り込みます。 我々の手法は、構造化されたテキストをセグメントレベルおよびトークンレベルで理解するために評価され、FUNSD、SROIE、EPHOIEの各データセットにおいて、最先端の手法を大幅に上回る性能を示した。