submit 시 에러 문제 (transport is closing)

[kaen2891]

Informations

CLI

• OS (Mac, Windows, Linux, etc) and version:
• client version(please show nsml --version):
• Full command line:

WEB

• Brower (chrome, firfox, etc):
• URL:

What is your NSML login ID? kaen2891

What is name of session in problem? (bug message or screenshot) submit시 Error

Steps to reproduce the problem nsml 상에서 학습한 모델을 submit해보는 도중,

아래와 같은 에러가 떠서 요청드립니다.

.... Building docker image. It might take for a while ...........load nsml model takes 9.257660388946533 seconds .Infer test set. The inference should be completed within 3600 seconds. FATA[2019/09/25 21:34:59.722] run failed: rpc error: code = Unavailable desc = transport is closing

resource들이 부족하여 생긴 문제일까요? 어떻게 해결할 수 있을지 알려주시면 감사하겠습니다.

What is the expected behavior?

Suggested solutions

[kaen2891]

[nsml-admin]

안녕하세요. 추측하기로는 네트워크문제일수도 있을것같은데요, (서브밋 도중 네트워크가 변경되거나 끊긴경우..) 이런상황이 발생되는 주기가 어떻게되나요? 위의 세션을 제가 받아서 확인해보려는데 지워져서 확인이 불가능한데 에러상황이 발생하는 세션네임 알려주시면 확인해보겠습니다.

[kaen2891]

음...어제 전체적인 resource들이 거의 불태워지고 있을 때 돌렸을 때 생겼던 문제이고, 지금은 새벽에 돌려보니 submit이 되어서, 문제가 해결 된 것 같습니다. 감사합니다.

[JJANGJJANGMEE]

저도 방금 동일한 에러가 발생했습니다.

세션명은 team136/sr-hack-2019-dataset/373 인데, 에러 발생후 세션이 stop 되지도 않고 좀비 세션이 되어서 삭제해야 할 것 같습니다.