[feat] Evaluation metric & Wandb logging [refactor] train.py & sweep.py

[Dongwoo-Im]

What is this PR?

• Evaluation metric 계산 + wandb logging 코드를 추가하였습니다.

• 14

Changes

• custom_scheduler.py : pytorch의 cosignannealinglr 에 warmup 과 gamma 기능을 추가한 scheduler입니다. this code is from : https://gaussian37.github.io/dl-pytorch-lr_scheduler/

• inference.py : 학습 중인 모델을 사용하기 위해, checkpoint 없이도 do_inference 할 수 있도록 하였습니다.

• sweep.py : metric 수정과 더불어, parameter들이 wandb sweep에 모두 logging 될 수 있도록 표현을 바꾸었습니다. 이를 원하시지 않는다면 아래 사이트를 참고하여 수정하시면 됩니다. https://docs.wandb.ai/guides/sweeps/configuration

• train.py

  1. 관리하면 좋겠다고 생각한 args를 추가하였습니다. (save_max_num, train_eval, eval_interval 등)
  2. Evaluation metric (precision, recall, hmean) 계산과 logging을 처리하였습니다.

To reviewers

• do_evaluating은 전처리로 이해하시면 되고, calc_deteval_metrics가 metric을 계산하는 함수입니다.
• sweep_cfg에서 training parameter를 다루고, args는 이외의 것들을 다룬다고 생각하시면 됩니다.
• 다양한 실험을 위해 사용해볼 만한 optimzer, scheduler도 예시로 적어두었습니다.

[Dongwoo-Im]

경륜님이 말씀해주신대로, do_inference를 사용하는 과정에서 에러가 있었고, 에러 원인은 gif format으로 확인되었습니다.

1. dataset.py 처럼 PIL Image로 읽는 경우 문제가 되지는 않았던 것 같은데,
2. inference.py의 do_inference 처럼 opencv로 읽는 경우 문제가 생기는 구조임을 확인하였습니다.
3. https://code-examples.net/ko/q/9cb1ab 글을 보면서 변환이 잘 되지 않던데 굳이 변환할 필요가 있을까 고민하게 되었고, ICDAR17 전체 9000장 중 4장만 gif format인 것을 확인하여 지우기로 결정했습니다.

[Dongwoo-Im]

추가적으로 userwarning이 발생하는 것도 png extension의 transparent 속성이 원인으로 보입니다. 전체 9000장 30장만 해당되어 지워도 무방할 것 같은데, 일단 코드는 돌아가니 냅두었습니다.

[Dongwoo-Im]

del_extension.py

from utils import delete_image, update_json

def main(json_dir = '/opt/ml/input/data/ICDAR17_ALL/ufo/train.json',
         image_dir = '/opt/ml/input/data/ICDAR17_ALL/images'):

    delete_image(json_dir, image_dir, extension='gif')
    update_json(json_dir, extension='gif')

if __name__ == '__main__':
    main()

[Dongwoo-Im]

추가적으로 위에서 언급한 png는 지웠습니다! 그리고 지금까지 파악된 내용들을 반영하여 commit을 마쳤습니다. (evaluation metric 산식 수정 포함)

[seonahmin]

확인하였습니다! 다만 sweep 에서 hmean이 maximize되게 바꾼 것 같은데 hmean이 무엇인가요?혹시 말씀해주셨었나여..ㅎㅎ..제가 기억을 못하는 것일슈도..ㅠ

[hyoseok1223]

확인하였습니다! 다만 sweep 에서 hmean이 maximize되게 바꾼 것 같은데 hmean이 무엇인가요?혹시 말씀해주셨었나여..ㅎㅎ..제가 기억을 못하는 것일슈도..ㅠ

precision과 recall의 harmony mean으로 DetEval의 final score입니다