search

Naver-AI-Hackathon / AI-Speech

31 stars 5 forks source link

nsml submit 관련 에러 #55

Open skfn20 opened 5 years ago

skfn20 commented 5 years ago

test 옵션 없이 실행시킨 경우

...Warning: Your session has a total size of over 10 MB You may want to add unnecessary files and directories to the ignore list. (e.g. the .git directory) .... Building docker image. It might take for a while .......Error: Session error: "An error occurred somewhere in your code. You can check the error with 'nsml submit --test'." time="2019/09/23 16:52:14.001" level=fatal msg="Internal server error"

test 옵션을 주고 실행시킨 경우

...Warning: Your session has a total size of over 10 MB You may want to add unnecessary files and directories to the ignore list. (e.g. the .git directory) .... Building docker image. It might take for a while .....

학습시킨 nsml 모델을 submit하려하는데 다음과 같이 계속 에러가 나서 질문드립니다. nsml submit --test 옵션을 사용한 경우 도커 이미지를 만드는 부분에서 멈춰있습니다. 학습시킨 세션은 exited로 나옵니다.

이러한 경우에는 어떻게 하면 되나요?

마지막으로 session 4의 경우에는 상태가 zombie로 나오는데 정지하거나 삭제하는 것도 안 되고 커맨드를 통한 삭제도 안 됩니다.

zobie 세션의 삭제 방법도 여쭤보고 싶습니다.

RaicLee commented 5 years ago

좀비세션에 대해서는 terminal에서 nsml rm -f team(번호)/sr-hack-2019-dataset/(세션) 으로 하시면 삭제 가능하십니다

nsml-admin commented 5 years ago

안녕하세요

nsml submit --test 옵션을 사용한 경우 도커 이미지를 만드는 부분에서 멈춰있습니다.

제생각에는 이부분은 docker 이미지를 만들고 model을 로드하는 부분인것같습니다. 아무래도 network 통신을 하는부분이라 시간이 오래 걸릴수도 있어서 다시 시도해보시기바랍니다. 그래도 해결이 안되면 세션네임을 알려주시면 확인해보겠습니다.

세션 삭제의 경우에는 @RaicLee 님께서 설명해주신 것처럼 nsml rm -f 로 해보시기 바랍니다. 혹시 그래도 세션삭제가 안된다면 세션네임을 알려주시면 확인해보겠습니다.

감사합니다.

skfn20 commented 5 years ago

감사합니다!