[feat] lightgbm wandb valid 오류 해결

[dongseoklee1541]

💡 Issue

wandb에 학습시 valid auc, acc가 best값만 찍히는 걸로 파악했습니다.

train valid 모두 학습과정을 트래킹 할 수 있게 코드를 수정할 예정입니다.

📝 TODO

• [ ] wandb valid 오류 해결

📚 Reference

14

18

lightgbm docs

[Gangtaro]

그런 점을 미루어보아도, hyper parameter tuning 시에는 분명 다른 parameter로 다른 실험이 진행되어야 정상인데, 지금 문제가 되는 부분은 다른 parameter에서 valid auc best score가 매번 같은 값을 기록하는것 아닌가요???

[dongseoklee1541]

확인을 해보니 auc, acc = model_predict(args, model, X_valid, y_valid) 코드에서 auc,acc 의 값들이 한개만 찍힙니다. iteration 만큼 횟수가 찍혀야 하는데 그렇지 않습니다

[Gangtaro]

지금 wandb 설정에서 issue의 주된 원인이 iteration 마다 다른 valid auc가 안찍히는게 아니라, 다른 hyper parameter 에서 (아예 다른 실험) 같은 auc 를 가진다는 것 아닌가용?

[ahyeon0508]

지금 wandb 설정에서 issue의 주된 원인이 iteration 마다 다른 valid auc가 안찍히는게 아니라, 다른 hyper parameter 에서 (아예 다른 실험) 같은 auc 를 가진다는 것 아닌가용?

맞습니다!

[dongseoklee1541]

지금 wandb 설정에서 issue의 주된 원인이 iteration 마다 다른 valid auc가 안찍히는게 아니라, 다른 hyper parameter 에서 (아예 다른 실험) 같은 auc 를 가진다는 것 아닌가용?

네 맞는데 확인해보니 모든 모델이 iteration 129에서 끝나고, 마지막값만 찍히고 있어서요! 그래서 우선 학습과정을 트레킹을 해봐야 하지 않을까 싶어서 이것부터 수정해볼려고 합니다!

[dongseoklee1541]

해결되어서 이슈를 종료합니다.