ai-starthon / AI_Starthon2019

60 stars 44 forks source link

7번 summit 오류 #215

Open stimong opened 5 years ago

stimong commented 5 years ago

안녕하세요. 써밋한지 거의 1시간동안 로딩중이다가 (gpu는 사용하더라고요) 결국 에러가 나오는데.. 다시학습하고해도 계속그러네요. 학습은 1시간도 안걸리는데, 무슨문제일까요? $ nsml submit team_124/7_icls_face/186 2

....... Building docker image. It might take for a while ............Inference the test set. The inference should be completed within 3600 seconds. Error: Session does not respond

nsml-admin commented 5 years ago

안녕하세요.

학습시간이 적게걸린다고해서 submit시간이 적을거라는 보장은 없습니다.

submit할때 호출되어지는 inference하는 부분을 최적화 하여서 제한시간인 1시간 이내에 submit을 완료하여야합니다.

디버깅은 submit --test 로 하셔서 시간이 많이 걸리는부분을 찾아내서 해당부분을 수정하는방법이 있습니다.

감사합니다.

nsml-admin commented 5 years ago

submit --test로 하면 새로운 세션이 생성되는데 그세션내에서는 print문으로 찍은 로그를 볼수가 있습니다.