mPLUG-DocOwl2: OCR不要の複数ページ文書理解のための高解像度圧縮技術

[fulfulggg]

タイトル: mPLUG-DocOwl2: OCR不要の複数ページ文書理解のための高解像度圧縮技術

リンク: https://arxiv.org/abs/2409.03420

概要:

マルチモーダル大規模言語モデル（MLLM）は、ドキュメント画像のサポート解像度を高めることで、OCR不要のドキュメント理解において有望な性能を実現してきました。しかし、これは1つのドキュメント画像に対して数千ものビジュアルトークンを生成する必要があるため、特に複数ページのドキュメント理解において、GPUメモリを過剰に使用し、推論時間が長くなるという問題がありました。本研究では、これらの課題に対処するため、低解像度のグローバルな視覚特徴をガイドとして、高解像度のドキュメント画像を324個のトークンに圧縮する高解像度DocCompressorモジュールを提案します。この圧縮モジュールを用いて、複数ページのドキュメント理解能力を強化し、トークン効率と質問応答性能のバランスを取るために、3段階の学習フレームワーク（単一画像事前学習、複数画像継続事前学習、複数タスクファインチューニング）に基づいてDocOwl2を開発しました。DocOwl2は、複数ページのドキュメント理解ベンチマークにおいて新たな最先端技術を確立し、最初のトークンレイテンシを50%以上削減し、複数ページの質問応答、証拠ページを用いた説明、ページ横断的な構造理解において高度な能力を実証しました。さらに、DocOwl2は、類似のデータで学習した単一画像MLLMと比較して、20%未満のビジュアルトークンで同等の単一ページ理解性能を実現しています。私たちのコード、モデル、データはhttps://github.com/X-PLUG/mPLUG-DocOwl/tree/main/DocOwl2で公開されています。

[fulfulggg]

@yukihiko-fuyuki が以下のラベルを提案し、適用しました：

• llm
• model-compression
• image-analysis

[fulfulggg]

論文要約

mPLUG-DocOwl2: OCR不要の複数ページ文書理解のための高解像度圧縮技術 - 論文要約

従来の複数ページ文書理解技術は、高解像度の画像処理に膨大な計算資源を必要としていました。本論文で提案するDocOwl2は、高解像度画像を効率的に圧縮する技術を用いることで、この問題を解決し、高精度かつ高速な文書理解を実現しました。

DocOwl2の主な特徴と成果:

• 高解像度画像の効率的な圧縮: 低解像度の画像情報をガイドに、高解像度画像を324個のトークンに圧縮する"高解像度DocCompressorモジュール"を開発。これにより、従来手法と比較してGPUメモリ使用量と処理時間を大幅に削減。
• 複数ページ文書理解の性能向上: 3段階の学習フレームワーク(単一画像事前学習、複数画像継続事前学習、複数タスクファインチューニング)を採用し、複数ページにわたる文書理解能力を強化。
• 最先端のベンチマーク結果: 複数ページ文書理解ベンチマークにおいて、従来手法を上回る精度を達成。また、処理時間の指標となるトークンレイテンシを50%以上削減。
• 優れた質問応答能力: 複数ページの文書からの質問応答、証拠ページを用いた回答の説明、ページ横断的な構造理解において高い能力を発揮。
• 高効率な単一ページ文書理解: 従来の単一画像MLLMと同等の性能を、20%未満のビジュアルトークンで実現。

DocOwl2は、高精度かつ効率的な文書理解を実現するための、重要な技術的進歩と言えます。