bcaitech1 / p4-dkt-freshtomato

🍅 프레시하게 풀어보자, DKT - Fresh Tomato 🍅
10 stars 5 forks source link

Wandb) project name을 arguments로 따로 빼기 & logging할 value 추가 #18

Closed MoonJaeHoon closed 3 years ago

MoonJaeHoon commented 3 years ago
  1. 아래 코드 부분 wandb project name 따로 지정해줄 수 있게 arguments로 빼면 좋지 않을까? https://github.com/bcaitech1/p4-dkt-freshtomato/blob/9c0cb701b51accea518d233f10af185e941ed012/code/train.py#L23

  2. wandb에 추가적으로 최종 best score , best epoch 기록해줄 수 있게 추가하면 좋지 않을까? https://github.com/bcaitech1/p4-dkt-freshtomato/blob/9c0cb701b51accea518d233f10af185e941ed012/code/dkt/trainer.py#L42

우선 본래 코드는 위에서 보는 것처럼 매 epoch마다 loss와 auc, acc 등을 기록해주고 있는 상태인데, best score가 갱신되는지 살펴보는 early stopping method를 활용하고 있으니까 간단하게 코드를 추가해서 추가적으로 wandb에 최종적으로 best_epoch, best_valid_auc, best_valid_acc 등을 wandb에 기록할 수 있게 하면 좋지 않을까여?

기대효과 : best epoch이 몇이었는지, best valid score가 몇인지 빠르게 파악할 수 있어서 좋을 듯.

Yuuraa commented 3 years ago

좋은 생각이라구 생각합니다!! 수정할 때, args에서 wandb_run_name의 required=True 로 바꿔주는 것 + train.py에서 wandb_run_name 자동 지정하는 코드 빼는 것까지 해주면 좋을 것 같아용~

arabae commented 3 years ago

굉장히 좋습니다☺️

MoonJaeHoon commented 3 years ago

kfold 시에 best score들을 평균내서 Average kfold score라는 value도 wandb에 logging 해주면 좋을듯