boostcampaitech4lv23cv2 / level2_dataannotation_cv-level2-cv-11

level2_dataannotation_cv-level2-cv-11 created by GitHub Classroom

2 stars 1 forks source link

재현성 / random seed 고정 #3

Closed jerry-ryu closed 1 year ago

jerry-ryu commented 1 year ago

Overview

실험 재현성을 위한 환경설정

Todo

재현성 보장

[x] random seed 고정

[x] 멀티 프로세싱(num_workers) 재현성 보장

Additional Context

seed 탐색?

jerry-ryu commented 1 year ago

random seed 고정했음에도 재현이 안되는 문제 발견

jerry-ryu commented 1 year ago

재현 불가 현상 원인

torch.use_deterministic_algorithms(True) /torch.set_deterministic(True) 는 모델이 “deterministic” algorithms만을 사용하게 하여 재현성을 보장하는 설정이다.
EAST model은 y = F.interpolate(x[3], scale_factor=2, mode='bilinear', align_corners=True) 와 같이 비결정적으로만 실행되는 보간 or upsample layer로 구성되어 있다.
torch.use_deterministic_algorithms(True) /torch.set_deterministic(True) 를 사용하면 upsample_bilinear2d backward cuda Runtime Error가 발생한다.

∴ EAST model은 재현적으로 학습시킬 수 없다.

ganghe74 commented 1 year ago

다같이 데일리스크럼에서 확인했음.