[ML][Experiment] Text Recognition 모델 성능 분석

[sodabeans]

What

• https://github.com/clovaai/deep-text-recognition-benchmark 사용
• 직접 labeling한 데이터 사용해서 알약 이미지 데이터에 대한 성능이 어느 정도 나오는지 수치화 시키기
  

Why

• 어느정도의 confidence score로 필터링 적용할지
• 모델이 얼마나 reliable 한지 평가
• 모델의 결과를 알약 필터링에 사용하는게 적합한지
  

How

• [X] labeling 한 데이터 결과 찾기
• [X] gt와 prediction 결과를 하나의 dataframe으로 merge 하기
• [X] dataframe 분석

[sodabeans]

confidence score threshold	total_cnt	hangul_cnt	correct_cnt	wrong_cnt	correct / total	correct / (total - hangul)
0	2282	354	1127	801	0.4939	0.5845
0.5	1186	10	958	218	0.8078	0.8146
0.6	1057	7	900	150	0.8515	0.8571
0.7	925	5	816	104	0.8822	0.8870
0.75	865	4	781	80	0.9029	0.9072
0.8	805	2	740	63	0.9193	0.9215

예상보다 정확도가 낮습니다.

[ghost]

@sodabeans correct_cnt랑 wrong_cnt는 한글이 아닌 것 중에서 잘 잡는 거랑 못 잡는 것의 갯수인가요??

[sodabeans]

correct_cnt랑 wrong_cnt는 한글이 아닌 것 중에서 잘 잡는 거랑 못 잡는 것의 갯수인가요??

네 맞습니다. 모델이 원래 한글 제외한 알파벳과 숫자만 인식할 수 있기 때문에, 이렇게 나누면 모델 평가를 더 잘 할 수 있을 거라 생각했습니다.

[ghost]

@sodabeans 아하 성능이 잘 안 나오는게 정말 아쉽네요ㅠㅠ

[sodabeans]

잘못 예측한 데이터를 살펴보니 W나 O 같은 대문자 소문자 구별이 어려운 것들이 많아서, case-sensitive 하지 않은 모델로 다시 한번 해보겠습니다!

[sodabeans]

대문자 소문자 구분 없이 모델 테스트 해본 결과입니다. 앞서 진행한 case-sensitive 모델과 비교하자면, threshold를 높게 잡았을 때 걸러지는 데이터는 줄어들었지만, 정확도는 크게 향상되지 않았습니다.

confidence score threshold	total_cnt	hangul_cnt	correct_cnt	wrong_cnt	correct / total	correct / (total - hangul)
0	2282	354	1065	863	0.4667	0.5524
0.5	1247	18	954	275	0.7650	0.7762
0.6	1096	10	903	183	0.8239	0.8315
0.7	989	4	850	135	0.8595	0.8629
0.75	929	2	821	106	0.8837	0.8857
0.8	870	1	782	87	0.8989	0.8999

[sodabeans]

분석한 결과, 예측한 텍스트의 정확도가 높지 않아 현재 서비스에는 적용시키기 어렵습니다. Issue closed.