SPTS: Single-Point Text Spotting

Information

Authors: Dezhi Peng＋
Organization: South China University of Technology＋
Paper: https://arxiv.org/abs/2112.07917
Code: https://github.com/shannanyinxiang/SPTS
Conference/Journal: ACM MM2021

Summary

サマリ図表

どんな論文か？

Text spottingにおけるAnnotation labourを削減するために、detectionのsupervisionをbboxやpolygonではなくsingle pointで実現するモデル(Single Point Text Spotting; SPTS)の提案（手法はPix2Seqがベース）。supervisionはtext sequence + 離散化されたsingle point(x, y)となっている。これによってannotation timeは20%以下に削減可能。Horizontalに近いデータセット(IC13)、Arbitrarily shapedのデータセット(Total-Text, SCUT-CTW1500)ではText spottingのSOTAを更新。Multi-Orientedデータセット(IC15)では既存手法に及ばず、原因としてtiny textに対する精度の低さが推察されている。また、Single pointに加え、No-Point Text Spotting(NPTS)も実験し、SPTSには及ばないまでもある程度認識できる結果を得ている。

新規性

Single point supervisionのText spottingモデルの提案
single pointの推論結果に対する新たな評価指標の提案
- bboxのようなIoUベースの指標は使えないため、single pointとcenter of GT bboxの距離をベースとしたdetection matchingを導入
- recognitionについてはperfect matchingをそのまま使用
（この論文で提案された内容ではないが）Text sequenceをrandomly orderedにするのはユニーク。これもPix2Seqの中で提案されている。

結果

その他（なぜ通ったか？など）

関連研究
- Pix2Seq
- LMの構造でobject detection
IC15で見られるTiny textに対する精度の低さはresolutionからくると推定
評価指標はCLEValの方がGoodと感じる
LimitationでTraining timeがかなりかかるとある

AtsukiOsanai / cv_survey

SPTS: Single-Point Text Spotting #99