search

AI-GrandChallenge / round-1

14 stars 11 forks source link

[트랙3] submit시 에러 #125

Open withcat-net opened 4 years ago

withcat-net commented 4 years ago

submit할 때 아래와 같은 에러가 생겨서 submit이 안되는데, 이유를 알 수 있을까요?

Error: Session error: "The time between running a session and the part where a 'nsml.paused()' is called should be less than 600 seconds.

nsml-admin commented 4 years ago

안녕하세요.

코드안에 nsml.paused()가 없거나 main함수가 실행된후 600초 안에 nsml.paused()에 접근을 하지 못해서 발생한 에러같습니다.

자세한건 세션네임 알려주시면 확인해보겠습니다.

withcat-net commented 4 years ago

@nsml-admin

세션이름 t0086/tr-3/191 입니다. 그런데 세션이 제대로 생성되지 않고 아래와 같은 에러가 뜹니다.

$ nsml submit t0086/tr-3/181 checkpoint ....... Building docker image. It may take a while .......Error: Session error: "The time between running a session and the part where a 'nsml.paused()' is called should be less than 600 seconds." FATA[2020/07/31 17:01:40.269] Internal server error

nsml-admin commented 4 years ago

안녕하세요. 제가 해당 세션을 받아서 테스트해보니 환경셋팅에 상당히 오래걸리고있습니다. (아마 main.py에서 subprocess로 패키지를 더 설치하시는것 같은데요, 그과정이 에러메세지에 나온 600초에 포함되어서 실패한걸로 파악됩니다.)

에러 내용은 세션이 시작하고 nsml.paused()까지 600초 안에 도달되어야하는데 그러지 못해서 발생한에러입니다.

환경 셋팅은 관련된 도커이미지를 만들고 만들어진 도커이미지를 nsml에서 사용하는 방식으로 해주시면 좀더 수월하게 이용하실수있을거같습니다.

감사합니다.