Language Matters: A Weakly Supervised Vision-Language Pre-training Approach for Scene Text Detection and Spotting

[AtsukiOsanai]

Language Matters: A Weakly Supervised Vision-Language Pre-training Approach for Scene Text Detection and Spotting

Information

• Authors: Chuhui Xue+
• Organization: Nanyang Technological University, ByteDance
• Paper: paper
• Code: https://github.com/bytedance/oclip
• Conference/Journal: ECCV2022

Summary

サマリ図表

どんな論文か？

OCRに適したVision-Language(VL) pretrainingモデルの提案。CLIPのようなVL pretrainingはimageとtextのcontent-levelでの関係性を学習するため、OCRのようなlow-levelでのdetect&recognizeタスクには不向きである。そこでOCRに特化したoCLIPを提案。oCLIPはImage Encoder, Character-aware text Encoder, Visual-Textual Decoderからなり、MaskingされたCharacterの推定をobjectiveとしたpretrainingを行う。学習されたImage Encoderを用いて、detection, spottingといったOCRタスクでfinetuneされる。oCLIPでpretrainされたモデルはベースライン(ターゲットタスクでのpretraining)を上回る精度を達成

新規性

• OCR向けのMLMに似たpretraining methodを提案した点
  • MLMだけでなく収束を早めるためにContrastive Lossも導入
• 上記を実現するモデルアーキテクチャの提案
  • Character-aware text Encoder
  • Visual-Textual DecoderはCross-Attentionのみからなる
  • OCRではsentence間の関係性が不要であることも多いため

結果

• text detection, spottingでproposed pretrainingの有効性を実証

その他（なぜ通ったか？など）

• Text annotationもlabelのみ、かつpartialで良い点が実用性高い
• Table5, 6, 7がSynth Data x oCLIPでpretrainしたモデルと、スクラッチから学習したモデルで比較されているように見える。本来であれば、Synth Dataでタスク固有のpretrainingをしたものと比較してこそ、pretraining方法の提案になると思う。
  • Table3, 4でこの辺りの切り分けはやっているようだ
• Text spottingで出力された文字列をText Encoderに投入してImage EncoderとのCross Attentionを見れば、Character Localizationもできるかもしれない（下記Fig.4の仕組み）

[AtsukiOsanai]

Table.3はpartial annotationの実験結果。 画像１枚に含まれる全テキスト（word levelで分割されていると思って良い）のうち、何％を利用するかをパラメータスタディしている。Table.3より25%でも100%と近しい効果＆BaselineであるFull supervision pre-trainingより効果的であることが報告されている。