Develop/DetEval Feature: validation set에 대한 DetEval 구현 및 평가

[jerry-ryu]

Overview

• 코드에서 train set으로 훈련하고 validation set으로 loss는 계산하였지만, 직접적으로 평가 metric을 통해 성능을 평가하지는 못하였으므로, 실험의 신뢰도가 떨어지고, 성공 여부를 판단하기 어려웠다.
• 위의 배경에 따라, 대회에서 제출 시 평가 metric으로 사용하는 DetEval의 구현 필요성이 생겼다.

Change Log

• detect.py를 기반으로 deteval.py에 bbox 생성 코드 추가
• train.py 변경
  • 구현되어 있는 deteval.py와 detect.py를 활용
  • deteval.py를 통해 생성된 bbox를 deteval로 평가하여 Precision, Recall, F1 score 계산

To Reviewer

• 실험해본 결과 Model Eval/Epoch 49: Val/Mean loss: 1.1069, Val/Cls loss: 0.3122, Val/Angle loss: 0.0577, Val/IoU loss: 0.7370 Val/Precision: 0.449655, Val/Recall: 0.364211, Val/F1: 0.402448 로 로그가 잘 찍히고, WandB에도 그래프가 잘 그려진다.

다만, crop한 이미지에서는 잘 작동하지 않으므로, --image_size 인자와 --input_size 인자를 같게 해서 실험해야한다

Issue Tag

1 - WandB Metric / Deteval 구현

11 - Deteval / score_map, geo_map 형태에서 bbox 형식으로 변형 & deteval 적용

---

이전된 PR: Input dataset merge #15

Overview

Integrated Input dataset

Change Log

• train.py 의 main 함수 및 data_dir argument 를 data_root_dir 로 변경
• dataset.py 의 SceneTextDataset 수정

To Reviewer

• input/data/ 에 다음과 같은 세 개의 텍스트 파일을 만들고, 각각의 파일에는 사용할 데이터셋 경로, 사용 train.json 경로, val.json 경로 목록을 적는다. 모두 절대경로다. (ex. data_dirs.txt에는 /opt/ml/input/data/ICDAR17_Korean, train_dirs.txt에는 /opt/ml/input/data/ICDAR17_Korean/random_split_ufo/train.json) 주의할 점 : 각 txt 파일 내 항목은 모두 순서에 맞춰 일대일 대응이어야 한다.

• integrated train/valid json 파일은 input/data/에 새로 생성되는 DATASET_json 이라는 폴더 내에(아래 사진에선 ICDAR17_Korean) json파일위치폴더_train/valid_json 으로 만들어진다.

• wandb config의 data도 업뎃됨

• 다음 사항을 확인부탁드립니다

• [x] 단일 train/valid.json에 대해 학습이 잘 되는가?

• [x] 복수 train/valid.json에 대해 학습이 잘 되는가?

• [x] wandb 에 복수 dataset이 잘 반영되는가?

• [x] 그 외 기타 에러(가능성)는 없는가?

Issue Tag

12

[ganghe74]

주말 중으로 시간 내서 한번 봐볼게. 아직 DetEval을 잘 모르긴 하는데, 어떤 자료를 기준으로 구현했는지 추가하면 좋을 거 같아 !!

[jerry-ryu]

deteval이 시각화랑도 관련있어서 시각화 + deteval 설명한 보고서 하나 만들게~

[jerry-ryu]

추가적으로 Input dataset merge #15가 PL 되면서 deteval도 구현이 바뀌어야할 것 같아. 이건 오늘내로 패치할게

[jerry-ryu]

integrated input #15 에 맞춰서 DetEval 패치하였고, #15 PR를 모두 적용하였음

[jerry-ryu]

notion에 코드 설명 및 배경 추가함 기존에 있는 코드들로 DetEval을 구성하여 따로 참고한 외부 코드 없음 https://www.notion.so/ab9c451857ac4003bd848912d6835244?p=fcc4c88c8b5c420b88d2b91c2c22543c&pm=s

[ganghe74]

여러 데이터셋 다룰 때, txt 파일 3개 사용하지 않고, YAML이나 JSON 같은 간단한 포맷 파일 하나로 다루는 게 편할 것 같아.

[ganghe74]

일단 병합하지만, 주석인 행이나 띄어쓰기 오타 등이 보여서 추가 수정이 필요하다. black 등의 포매터를 도입해도 괜찮을 것 같음.