ocr은 text detection & text recognition 으로 구성되어 있음. text detection 은 이미지 상에서 글자가 있는 영역을 찾는 걸 말함. text recognition은 찾은 영역을 바탕으로 글자를 분별해 내는걸 말함
3 major challenge
Diversity of scene text: 문서이미지 속 글자들은 정형화되어 있는 반면 보통 이미지 글자들은 비정형화 되어 있어 분별이 어렵다
Complexity of background: 간판이나 벽돌 유리처럼 배경이 복잡해서 구분이 힘들다
Interference factors: noise, blur, distortion, low resolution, nonuniform illumination and partial occlusion, may give rise to failures in scene text detection and recognition
text detection, text recognition, end-to-end text recognition
2.Recent Advances in Scene Text Detection and Recognition
2.1 text detection
texture based method
텍스트의 특성을 사용해서, local intensities, filter responses and wavelet coefficients,
to distinguish between text and non text areas in the images
계산량이 많다. 모든위치와 크기를 스캔해야 local intensities, filter responses and wavelet coefficients
문자와 문자가 아닌 지역을 구분하기 위해 strong edge & high contrast
Discrete Cosine Transform (DCT) domain → 높은 효율성, 이미지 디코딩이 필요해서 정확도 측면에서 제한
cascade Adaboost [42] classifier
locating specific words from natural scenes : 주어진 리스트 내에서만 단어를 찾을 수 있다. 다른 부분에 적용하기에는 범위가 협소
component based method
주로 사용되는 방법으로 다양한 방법을 통해 후보구성요소를 추출하고 필터링을 통해 비-문자형 요소를 제거 (수동규칙 또는 훈련된 classifier)
Stroke Width Transform : human defined rules and parameters, and only considers horizontal texts.
Maximally Stable Extremal Regions (MSER) : generalization ability of the learned sparse dictionary is restricted, unable to handle issues like rotation and scale change.
픽셀의 분포에 따라 이미지의 다른지역을 나눈다 색의 유사도, spatial distance, 상대적 크기, 이 방법은 입력이미지가 몇몇개의 주요색으로 구성되어야 한다는 선행조건 필요
multi oriented text detection
푸리에 라플라스 공간으로 클러스터링, skeletonization 을 사용해서 지역을 나눈다
Stroke Feature Transform : color consistency and constrains relations of local edge points, producing better component extraction results,, but only for horizontal texts.
integrated MSER and CNN
hybrid methods
texture based & component based
Table 1. Comparison of existing text detection methods.
Strength ::
can detect texts of different orientations
can handle multilingual texts
can detect text in complex natural images
excellent performance
Weakness ::
rely on manually defined rules
only applicable to horizontal texts
2.2 text recognition
문서이미지와는 달리 일반 이미지에서 문자인식하는 부분에 몇가지 장애물이 있는데.
잘못된 다수의 알람, gibberish bottom-up and top-down information integrated in a unified model conditional random field, tolerate errors in character detection
part based text recognition
robust to nose, blur, partial occlusion and font variation but depends on the detailed annotation information. including character models and part annotations
strokelets has proven to be both effective and robust
Table 2 Comparison of existing text recognition methods.
strength::
can recognize words in complex natural images
can learn character parts from training data
insensitive to blur, occlusion, font variation
weakness::
rely on manually designed character models
require detailed annotations for parts
inefficient
2.3 end to end text recognition
일반적인 object detection, 단어는 특별한 종류의 물체, character는 단어의 일부분
주어진 단어 리스트에서만 가능, 단어리스트가 주어지지 않은 이미지에는 적용불가
MSER 통해 character 후보추출
trained classifier 통해서 문자가 아닌 후보를 제거. 선정된 character는 recognition 모듈에 들어가서, 실시간 text detection and recognition 으로 확장
OCR 기본개념 및 연구동향, 데이터셋 및 알고리즘별 장단점 비교
1.Introduction
2.Recent Advances in Scene Text Detection and Recognition
2.1 text detection
texture based method
텍스트의 특성을 사용해서, local intensities, filter responses and wavelet coefficients, to distinguish between text and non text areas in the images
component based method
주로 사용되는 방법으로 다양한 방법을 통해 후보구성요소를 추출하고 필터링을 통해 비-문자형 요소를 제거 (수동규칙 또는 훈련된 classifier)
hybrid methods
texture based & component based
Table 1. Comparison of existing text detection methods. Strength ::
Weakness ::
2.2 text recognition
문서이미지와는 달리 일반 이미지에서 문자인식하는 부분에 몇가지 장애물이 있는데. 잘못된 다수의 알람, gibberish bottom-up and top-down information integrated in a unified model conditional random field, tolerate errors in character detection
part based text recognition
robust to nose, blur, partial occlusion and font variation but depends on the detailed annotation information. including character models and part annotations
Table 2 Comparison of existing text recognition methods.
strength::
weakness::
2.3 end to end text recognition
일반적인 object detection, 단어는 특별한 종류의 물체, character는 단어의 일부분 주어진 단어 리스트에서만 가능, 단어리스트가 주어지지 않은 이미지에는 적용불가
strength::
weakness::
2.4 APP, products
3. datasets
ICDAR OSTD MSRA-TD500 SVT NEOCR KAIST Chars74K SVHN IIIT 5K-Word
3.2 Evaluation Protocols
3.2.1 Evaluation Protocols for Text Detection Algorithms
4. discussion
5. conclusions
Therefore, detecting and recognizing texts in natural scenes have become important and vibrant research areas in computer vision