[Data] AI Hub 데이터셋을 UFO format으로 변환

[baekkr95]

Background

• 13 에서 언급된 AI 허브데이터 사용해볼 예정

• AI HUB 데이터를 Baseline Code에 사용하기 위해서 UFO Format으로 바꿔야함

Content

(야외 실제 데이터 annotation 예시)

주요 변경 사항

• annotations[].bbox : [xmin, ymin, width, height]
• metadata[].wordorientation : 가로, 세로

Details

• 야외 실제 데이터 : 50만장 -> 샘플 (1140장)
• text in the wild : 10만장 -> 샘플 없음
• 야외 실제 데이터와 text in the wild 데이터의 data annotation 형식이 달라서, ufo formate으로 변환해주는 코드를 각각 작성해야함.

[baekkr95]

야외 실제 데이터 (샘플 데이터)

• korean_outside_images : 이미지 저장 폴더
• korean_outside_json : annotation 정보가 있는 json 파일들을 저장한 폴더. json이 이미지 개수만큼 존재하고 있음.

기존 데이터와 병합

• 기존 train dataset인 ICDAR2017와 AI Hub데이터를 병합해서 학습을 해야함.

• from torch.utils.data import ConcatDataset : ConcatDataset을 사용하면 쉽게 병합이 될 것 같음.

• 이를 위해, argparser의 --data_dir과 --json_dir를 여러개 받는 형식을 사용하면 될 것 같음.

• 동우님 evaluation 브랜치에 merge할 예정입니다.

[Dongwoo-Im]

https://aihub.or.kr/aidata/33985 여기서 샘플 데이터 받으시고, 윈도우에서 압축 푸신 다음에, vscode에 넣어주시면 됩니다. aihub_to_ufo.py 쓰실 때도 image path, json path, ufo path 3개만 바꾸시면 됩니다!