Robust Scene Text Recognition with Automatic Rectification

[chullhwan-song]

https://arxiv.org/abs/1603.03915

[chullhwan-song]

• 간단 리뷰

  Abstract

• word 단위 이미지가 항상 곧게 존재하는 것은 아니다. > 대각선/커브등.의 형태가 Natural Scene에서는 얼마든지 존재
• 그래서, 입력 Word 이미지에 대해 곧게 펴는 작업이 필요. > Rectification
• Spatial Transformation Network(STN)을 채용함.

Spatial Transformer Network

• Rectification
• OCR에서의 적용
• STN은 다양한 transformation 적용가능하다. 이 연구에서는 Thin-Plate-Spline (TPS) transformation
• TPS는 Grid control point에 의해 transformation 가능하다 > 예전 몰핑방식
• K = 10 : fiducial(control) point , 5x2 grid 형태
• 이는 Localization Network에서 그 task 과정(여기서는 인식과정)에서 신기하게 예측하게 된다.
• 정리
  • Rectification과정임.
  • 이는 입력 Word이미지에 대해 pre-processing과정을 의미한다고 볼수 있음
  • 이후 과정은 CRNN과 거의 동일
• 거의 유사한 논문으로,
  • STAR-Net: A SpaTial Attention Residue Network for Scene Text Recognition
  • ASTER: An Attentional Scene Text Recognizer with Flexible Rectification