[2022] DiT: Self-supervised Pre-training for Document Image Transformer

[osuossu8]

https://arxiv.org/pdf/2203.02378.pdf @ ACM 2022

[osuossu8]

一言で言うと

• ドキュメント AI タスク用の大規模なラベル付けされていないテキスト画像を使用する、自己教師ありの事前トレーニング済みドキュメント イメージ トランスフォーマー モデルである DiT を提案
• ドキュメント画像分類、ドキュメント レイアウト分析、テーブル検出、OCR のテキスト検出など、さまざまなビジョンベースの Document AI タスクのバックボーン ネットワークとして DiT を活用した時, それぞれ SOTA を達成

もう一言

• BEiT に着想を得た学習法利用, dVAE のトークナイザは BEiT で使っているものを流用できないので IIT-CDIP で事前学習

精度など

• ドキュメント画像分類 (91.11 → 92.69)
• ドキュメント レイアウト分析 (91.0 → 94.9)
• テーブル検出 (94.23 → 96.55)
• OCR のテキスト検出 (93.07 → 94.29)

参考

• https://github.com/microsoft/unilm/tree/master/dit
• https://mmocr.readthedocs.io/en/latest/datasets/det.html#funsd
• https://github.com/open-mmlab/mmocr

[osuossu8]

Google 翻訳切り抜き

• 教師ありドキュメント画像に依存しない、一般的なドキュメント AI タスク用の事前トレーニング済み自己教師付きドキュメント画像トランスフォーマー モデルである DiT を提案
• BEiT モデルから着想を得たが, BEiT モデルとは異なり、大規模なドキュメント イメージを使用して離散 VAE (dVAE) モデルを再トレーニングし、生成されたビジュアル トークンがよりドメインに関連するようにします
• The pre-training objective is to recover visual tokens from dVAE based on the corrupted input document images using the Masked Image Modeling (MIM) in BEiT.
• 使用データセット
  • the RVL-CDIP dataset [16] for document image classification
    • 16 クラスの 400,000 のグレースケール画像
    • クラスごとに 25,000
    • 320,000 のトレーニング イメージ
    • 40,000 の検証イメージ
    • 40,000 のテスト イメージ
    • 16 のクラス {レター、フォーム、電子メール、手書き、広告、科学レポート、科学出版物、仕様書、ファイル フォルダー、ニュース記事、予算、請求書、プレゼンテーション、アンケート、履歴書、メモ}
    • 評価指標 : overall classification accuracy
  • the PubLayNet dataset [46] for document layout analysis
    • 大規模なドキュメント レイアウト分析データセット
    • PubMed XML ファイルを自動的に解析することにより、360,000 を超えるドキュメント イメージ
    • テキスト、タイトル、リスト、図、表などの一般的なドキュメント レイアウト要素をカバー
    • 評価メトリック : MAP@IOU [0.50:0.95]
  • the ICDAR 2019 cTDaR dataset [15] for table detection
    • テーブル検出とテーブル構造認識を含む 2 つのトラックで構成
    • アーカイブ ドキュメント用
      • 600 のトレーニング イメージと 199 のテスト イメージ
      • 手書きの会計帳簿、証券取引所のリスト、列車の時刻表、生産国勢調査な​​どを含む
    • 最新ドキュメント用
      • 600 のトレーニング イメージと 240 のテスト イメージ
      • 科学ジャーナル、フォーム、財務諸表など、さまざまな種類の PDF ファイルが含まれています
    • さまざまな形式の中国語と英語のドキュメントが含まれる
    • 評価指標
      • Metrics for evaluating this task are the precision, recall, and F1 scores computed from the model’s ranked output w.r.t. different Intersection over Union (IoU) threshold. We calculate the values with IoU thresholds of 0.6, 0.7, 0.8, and 0.9 respectively, and merge them into a final weighted F1 score: 𝑤𝐹 1 = 0.6𝐹 10.6 + 0.7𝐹 10.7 + 0.8𝐹 10.8 + 0.9𝐹 10.9 0.6 + 0.7 + 0.8 + 0.9 This task further requires models to combine the modern and archival set as a whole to get a final evaluation result.
  • the FUNSD dataset [22] for OCR text detection
    • テキスト検出、光学式文字認識 (OCR) によるテキスト認識、およびフォーム理解の 3 つのタスク用にラベル付けされた、ノイズを含むスキャンされたドキュメント データセット
    • タスク 1 に焦点
    • FUNSD には 31,485 語の完全に注釈が付けられた 199 のフォームが含まれていますが、トレーニング セットには 150 のフォームが含まれ、テスト セットには 49 のフォームが含まれています。
    • 評価指標 : 精度、再現率、および IoU@0.5 での F1 スコアです。

• BEiT は、DALLE [34] の離散変分自動エンコーダー (dVAE) を画像トークナイザーとして使用

  • 自然画像とドキュメント画像の間にはドメインの不一致が存在するため、DALL-E トークナイザーはドキュメント画像には適さない
  • 文書画像ドメインの個別のビジュアル トークンをより適切に取得するために、4,200 万の文書画像を含む IIT-CDIP [24] データセットで dVAE をトレーニングする

• オブジェクト検出では、図 3 のように、Mask R-CNN [18] と Cascade R-CNN [5] を検出フレームワークとして活用し、ViT ベースのモデルをバックボーンとして使用

  • Detectron2 [39] に基づいて実装
  • 4 つの異なる変換ブロックで解像度変更モジュールを使用して、シングルスケール ViT をマルチスケール FPN に適合

• pretrain

  • pre-train DiT on the IIT-CDIP Test Collection 1.0 [24]
  • 複数ページのドキュメントを 1 ページに分割してデータセットを前処理し、4,200 万のドキュメント画像を取得
  • random resized cropping to augment training data during training
  • 新しい dVAE トークナイザー (IIT-CDIP データセット内の 4,200 万のドキュメント イメージを十分に活用し、ドキュメント dVAE イメージ トークナイザーをトレーニングしてビジュアル トークンを取得) は、入力画像を再構築するための MSE 損失と、量子化されたコードブック表現の使用を増やすための perplexity 損失の組み合わせでトレーニングされる

• finetune

  • RVL-CDIP for docs image classification
  • ICDAR 2019 cTDaR for table detection
    • オブジェクト検出タスクの画像解像度は分類よりもはるかに大きいため、バッチ サイズを 16 に制限
    • 予備実験では、DiT を微調整するときに、アーカイブ サブセット内の生の画像を直接使用すると最適なパフォーマンスが得られないことがわかったため、OpenCV [4] によって実装された適応画像二値化アルゴリズムを適用して画像を二値化
  • PubLayNet for docs layout analysis
  • FUNSD for text detection
    • ドキュメント レイアウト分析とテーブル検出では、検出された領域は通常段落レベルであるため、検出プロセスでアンカー ボックスのサイズ [32、64、128、256、512] を使用
    • ドキュメントのレイアウト分析とは異なり、テキスト検出は小さなオブジェクトを見つけることを目的とする

• result

  • RVLCDIP
    • DiT は他の画像 Transformer ベースラインと同じモデル構造を共有しているため、スコアが高いほど、ドキュメント固有の事前トレーニング戦略の有効性を示している
    • DiT-L は、single で以前の SOTA アンサンブル モデルと同等のスコアを取得
  • PubLayNet
    • 改善は主にリストと図のカテゴリから生じている
    • Cascade model に差し替えるともっと精度が良くなる
  • ICDAR 2019 CTDaR
    • データサイズが小さいため, few-shot learning の学習機能を評価する用途
    • DiT-L がすべての Mask R-CNN メソッドの中で最高の wF1 スコアを達成したことを示しており、さまざまなカテゴリのドキュメントの下での DiT の汎用性を示す
    • DiT がよりきめ細かいオブジェクト検出機能を備えている
  • FUNSD
    • OCR のテキスト検出は長年にわたる現実世界の問題であるため、一般的な商用 OCR エンジンから単語レベルのテキスト検出結果を取得して、高レベルのテキスト検出を設定

[osuossu8]

memo

• 左から, 元の画像, 自社 tokenizer, DALL-Eによる画像 tokenizer による復元結果
• PubLayNet とテーブル検出データセット ICDAR 2019 cTDaR から画像をサンプリング
• DALLEと当社のトークナイザーで再構築した後、DALL-Eによる画像トークナイザーは線とトークンの境界がわかりにくいですが、当社のdVAEによる画像トークナイザーは元の画像により近く、境界はより鮮明です。より優れたトークナイザーが、元の画像をより適切に説明するより正確なトークンを生成できることを確認しています