WandB - 개선

[Yera10]

Overview

• gt_score_map을 step마다 저장하는 것이 많은 용량 차지

Todo

• [x] gt_score_map 저장빈도 줄이기
• [x] config 항목에 사용 Data 추가

[jerry-ryu]

<gt_score_map 저장빈도 줄이기> 현재 실험 5개 밖에 돌리지 않았는데, WandB 용량을 많이 차지한다. (30GB) 추가적으로, 다른 시각화 그림들도 WandB에 logging 될 예정이므로 logging 전략이 필요하다.

1. visualization(ex. img, gt_score_map 등)을 여러 epoch마다 하나씩 저장하기
2. visualization을 epoch마다 하나의 배치만큼 or 일정 개수만큼만 저장하기
3. 학습 중간 과정에서의 visualization은 의미가 없으므로 , 마지막 epoch의 visualization만 저장하기

++ 다른 관점:

• validation set만 visualization해서 보는 경우 train의 edge case를 놓칠 수 있다.
• edge case를 찾기 위해서 전체 데이터셋을 inf 해서 GT와 비교하는 방법??

[ta1231]

오버피팅이 되지 않는다면 중간과정의 visualization은 딱시 필요 없을 것 같지만 그래도 중간 결과를 보기 위해서 50단위나 100단위정도는 괜찮을 것 같아

[ganghe74]

마지막만 저장하는 것도 좋고, 태준이형 말처럼 주기를 늘려도 괜찮을 것 같아.

나중에 Validation Set 커지면 2번도 고려해야 할 듯.

[jane79]

1번이 좋을 것 같은데, 처음엔 학습할수록 성능이 좋아지니까 마지막만 봐도 괜찮을 거라 생각했는데, 보니까 학습 초반에 예측을 했는데 후반부에 잘 해내지 못한 것도 있어서 중간 과정도 분석에 필요할 것 같다고 생각이 바꼈어. gt score map이랑 img는 계속 똑같아서 한 번만 저장하면 될 것 같고, 1208_gun_ICDAR2017_randomsplit_0.1 기준 20에폭(876~880step) 정도부터 prediction이 어느 정도 덩어리 지는데, 태준오빠 말처럼 주기적으로 저장하는거 + 초기에 어떤 영역을 잡아내는지 확인하기 위해 20에폭도 추가하면 좋을 것 같아. 주기는 100이 어떨까? 경향만 보면 될 거 같아서 그렇게 자주 저장 안 해도 될 것 같다고 생각해.

[Yera10]

나는 마지막만 저장하는 것도 좋고, 50~100에폭 주기도 좋을 것 같아.

[Yera10]

4fa0d413f0cfbe5cbe29d9ed435a6493771f30f7 config 항목에 사용 Data 추가..

[jerry-ryu]

우선적으로

1. visualization(ex. img, gt_score_map 등)을 여러 epoch마다 하나씩 저장하기
2. 학습 중간 과정에서의 visualization은 의미가 없으므로 , 마지막 epoch의 visualization만 저장하기 두개를 먼저 적용해서

기본적으로 last visualization는 필수적으로 저장되게 만들어뒀고 - 2번 관련 --viz_log를 통해서 저장할 epoch 정할 수 있게 만들어뒀어. - 1번 관련 parser.add_argument('--viz_log', default= [50,100,150,200], nargs='+', type=int, help='wandb viz log epoch list') default는 50 epoch 주기로 저장하는 걸로 해뒀어