[2022] Combining Deep Learning and Reasoning for Address Detection in Unstructured Text Documents

[osuossu8]

https://arxiv.org/pdf/2202.03103.pdf @ 2022, AAAI

[osuossu8]

切り抜き

• 深層学習と、構造化されていないテキスト ドキュメントからアドレスを見つけて抽出するための推論を組み合わせたハイブリッド アプローチを提案

  • Microsoft がリリースしたマルチモーダル LayoutLM アーキテクチャなどの最先端のドキュメント分析モデルは、複数の言語であっても、モデル アーキテクチャで視覚情報とテキスト情報の両方を組み合わせることで、この問題を解決しています (Xu et al. 2021)
  • 純粋なデータ主導のアプローチによって達成された結果は、人間の専門家の観点からの妥当性と妥当性に関して常にある程度の不確実性を保持
    • 複雑なドキュメント レイアウトやノイズの多いスキャンされたドキュメントを処理する場合、エンティティ抽出に関して正しい識別と境界検出を行うと、依然としてエラーが発生しやすくなります。
  • アドレス検出を改善するために機械知能と人間の推論を融合するアプローチを提案

• ビジュアル ディープ ラーニング モデルを使用して、スキャンされたドキュメント画像の可能な住所領域の境界を検出し、ルールベースのシステムとして表されるドメイン知識を使用して含まれるテキストを分析することにより、これらの結果を検証

• アドレス データを抽出し、ドキュメントの送信者または受信者をデータベースと照合することは、自動化されたドキュメント処理の最初のステップであることがよくある

• finetune 利用には, 優れた基礎モデルが必要だが, (主に英語圏の) ビジネス通信データの場合は open public data が利用できるがドイツ語ビジネスデータセットはない

• 全体として、両方の純粋な方法を比較すると、さまざまなレイアウトに対するディープ ラーニングの一般化機能と、典型的な推論における誤検知の削減を組み合わせたハイブリッド アプローチが有望である

• 住所抽出の問題定義のハイブリッド手法 このユース ケースでは、住所検出の目標は次の 2 つの手順で達成されます。 (送信者、受信者、その他) 検出された送信者と受信者のアドレスは、ドキュメント ページごとに 1 つのインスタンスに制限されますが、他のアドレスの量は無制限のままです。 地域境界内のテキストに正しい住所の郵便番号と都市名が少なくとも含まれている場合、住所候補は正しく検出されたと見なされます。

[osuossu8]

メモ

• ビジネス文書から住所情報 (のみ) を取得する ML+ドメイン知識を用いた手動のハイブリッド OCR パイプラインの提案
• 筆者が欲しいドイツ語ビジネス文書データセットがなく, finetune による精度改善 < 人間の手による誤検知削減 と考えた
• OCR エンジンは Tesseract 4.0
• 住所だけならルールベース追加で良さそうだが, 自分が解きたい問題には適用できなさそう
• model は Mask R-CNN (Abdulla 2017)
• test data
  • 64 docs
  • The data set provides a total of 104 pages, of which 67 pages contain a sender
  • and 71 a receiver address. Additionally, 105 addresses of type other are distributed across 74 pages. There are 8 pages left without any addresses.
• 評価は f1 score
• 実験の仕方とかは参考になるか ?