PIMNet: A Parallel, Iterative and Mimicking Network for Scene Text Recognition

[AtsukiOsanai]

PIMNet: A Parallel, Iterative and Mimicking Network for Scene Text Recognition

Information

• Authors: Zhi Qiao+
• Organization: Chinese Academy of Sciences+
• Paper: https://arxiv.org/abs/2109.04145
• Code: https://github.com/Pay20Y/PIMNet
• Conference/Journal: ACM MM 2021

Summary

サマリ図表

どんな論文か？

Scene Text Recognition(STR)のモデル高効率化を行った研究。STRモデルはNon-Autoregressive(NAR)モデルとAutoregressive(AR)モデルに大別でき、前者は高速だが低精度、後者は低速だが高精度といった特性を持つ。本研究ではNARモデルを基本に高精度なモデル構築を目指している。著者らは

• "Easy First" decoding strategyによりdecoding orderのflexibilityの改善
• NARモデルの特徴をARモデルの特徴に近づける(Mimicking)することで、ARモデルが持つtextualなKnowledgeをNARモデルへ転移させる という工夫により、SOTAレベルの精度と高速な推論を実現した。

新規性

• Easy First decodingによりNARモデルの中でも高い精度を実現
• ARモデルからNARモデルへの知識転移を導入（かつbackboneを共有）
  • KDのように出力の類似度を求めるのではなく、中間層のcosine similarityでLossをとる

結果

• ベンチマークの表は適宜見て下さい（高精度で高速）
• MimickingによってNARモデルでもSelf-Attentionの当て方が鮮明になっている

その他（なぜ通ったか？など）

• Feature levelでのdistillation
• どちらも最終的には左詰めでdecodingするペアでのfeature alignment