search

LISTatSNU / FastMRI_challenge

2021 SNU FastMRI challenge
55 stars 49 forks source link

seed 고정 관련 문의 #288

Open ysj720 opened 2 months ago

ysj720 commented 2 months ago

안녕하세요, 코드 관련해서 여쭤보고 싶은 것이 있어 문의드립니다. 특정 epoch까지 학습한 model.pt에 대하여, 학습을 멈춘 후 코드를 일부 수정한 후 추가 학습을 진행하려 합니다. model.load_state_dict함수를 이용하여 model.pt의 model을 load한 후 학습해보았습니다만, 추가 학습을 할 때마다 loss값이 계속 바뀌는 문제를 해결하지 못하고 있습니다. 혹시 해결할 방법이 있을까요? 감사합니다.

image image image
JS-Lee525 commented 2 months ago

안녕하세요, 2024 SNU FastMRI Challenge 조교 이준성입니다.

random seed가 제대로 세팅이 되었을까요? Model.pt는 고정되어 있는 값이라 아마 추가로 훈련할 때 발생되는 이러한 이슈는 random seed가 고정이 안 되어서 발생하는 것으로 추측됩니다.

감사합니다. 이준성 드림

ysj720 commented 2 months ago

train.py에 있는 seed_fix 코드는 따로 건드리지 않았습니다만, 추가로 seed관련해서 코드를 작성해야 할까요?

image
JS-Lee525 commented 2 months ago

제가 참가자 분의 모든 코드를 읽은 것이 아니어서 seed fix가 안 된 이유를 정확히 알 수는 없지만, reproducibility가 만족되어야 하기 때문에 필요하시다면 추가적인 코드를 작성하셔야 할 것으로 보입니다.