Exploring OCR Capabilities of GPT-4V(ision) : A Quantitative and In-depth Evaluation, Yongxin Shi+, N/A, arXiv'23

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2310.16809

  Affiliations

  • Yongxin Shi, N/A
  • Dezhi Peng, N/A
  • Wenhui Liao, N/A
  • Zening Lin, N/A
  • Xinhong Chen, N/A
  • Chongyu Liu, N/A
  • Yuyi Zhang, N/A
  • Lianwen Jin, N/A

    Abstract

  • This paper presents a comprehensive evaluation of the Optical CharacterRecognition (OCR) capabilities of the recently released GPT-4V(ision), a LargeMultimodal Model (LMM). We assess the model's performance across a range of OCRtasks, including scene text recognition, handwritten text recognition,handwritten mathematical expression recognition, table structure recognition,and information extraction from visually-rich document. The evaluation revealsthat GPT-4V performs well in recognizing and understanding Latin contents, butstruggles with multilingual scenarios and complex tasks. Based on theseobservations, we delve deeper into the necessity of specialized OCR models anddeliberate on the strategies to fully harness the pretrained general LMMs likeGPT-4V for OCR downstream tasks. The study offers a critical reference forfuture research in OCR with LMMs. Evaluation pipeline and results are availableat https://github.com/SCUT-DLVCLab/GPT-4V_OCR.

    Translation (by gpt-3.5-turbo)

• この論文では、最近リリースされた大規模マルチモーダルモデル（LMM）であるGPT-4V(ision)の光学文字認識（OCR）能力の包括的な評価を行います。 シーンテキスト認識、手書きテキスト認識、手書き数式認識、表の構造認識、視覚的に豊かなドキュメントからの情報抽出など、さまざまなOCRタスクにおけるモデルのパフォーマンスを評価します。 評価の結果、GPT-4Vはラテン文字の内容の認識と理解において優れた性能を発揮する一方、多言語のシナリオや複雑なタスクには苦戦していることが明らかになりました。 これらの観察結果に基づいて、専門のOCRモデルの必要性について詳しく探求し、GPT-4Vのような事前学習済みの一般的なLMMをOCRの下流タスクに十分に活用するための戦略について検討します。 この研究は、LMMを用いたOCRにおける将来の研究において重要な参考となるものです。 評価のパイプラインと結果は、https://github.com/SCUT-DLVCLab/GPT-4V_OCRで利用可能です。

  Summary (by gpt-3.5-turbo)

• この論文では、GPT-4Vという大規模マルチモーダルモデルの光学文字認識（OCR）能力を評価します。さまざまなOCRタスクにおいてモデルのパフォーマンスを評価し、ラテン文字の認識と理解において優れた性能を示す一方、多言語や複雑なタスクには苦戦することがわかりました。これに基づいて、専門のOCRモデルの必要性やGPT-4Vを活用する戦略についても検討します。この研究は、将来のLMMを用いたOCRの研究に役立つものです。評価のパイプラインと結果は、GitHubで利用可能です。

[AkihikoWatanabe]

GPT4-VをさまざまなOCRタスク「手書き、数式、テーブル構造認識等を含む）で性能検証した研究。 MLT19データセットを使った評価では、日本語の性能は非常に低く、英語とフランス語が性能高い。手書き文字認識では英語と中国語でのみ評価。