[NSML] launching is failed, Internal server error - GPU 할당 문제

[Gabibing]

주제

• GPU 할당 문제

상황 (자세히 작성해주시면 좋습니다.)

• 이제 도커 관련 에러는 발생하지 않습니다. 하지만 GPU 할당 문제가 있어보입니다.
• nsml run -d speaker -e main.py ==> 세션 실행이 안 됩니다.
• nsml run -d speaker -e main.py -g 0 ==> 세션 실행이 됩니다.

내용 (첨부 가능한 이미지 추가해주시면 더 좋습니다.)

기타 문의 사항

-

[ZIZUN]

저도 같은 상황인 것 같습니다. -g 0 조건으로 실행하니 작동하네요.

[bluebrush]

-g 0 옵션은 gpu를 사용하지 않는 옵션입니다. gpu가 없으면 gpu로 학습하지 않으니 참고부탁드립니다.

현재 세션 종료 후, 자원반납까지 다소 시간(길게는 3~4분)까지 소요될 수 있습니다. 참고부탁드립니다.

[Gabibing]

@bluebrush 늦은 시간까지 노고가 많으십니다. 현재 GPU로 세션을 만든 적이 없어도, GPU 옵션으로는 아예 세션이 만들어지지 않습니다. 확인 부탁드립니다.

[ZIZUN]

@bluebrush -g 1 옵션으로 동작이 불가능합니다. -g 0 옵션은 문제가 없는 것으로 보아 gpu 할당에 문제가 있는 것 아닐까요..? 도커는 #nsml: dacon/nia-tf:1.0 사용했습니다.

확인 부탁드려요. 감사합니다!

[leejiyoon7]

@bluebrush 저도 -g 1옵션으로는 실행이 불가능 합니다

[Gabibing]

@bluebrush 안녕하세요. 아직도 해당 오류가 있는 것 같습니다. 확인 부탁드립니다. 감사합니다.

[Gabibing]

13시 12분 - GPU 세션이 만들어져서 학습 시작 했습니다. 문제 생기면 업데이트 하도록 하겠습니다.

[Jo-ad-fontes]

어떻게 해결하셨나요? 계속 커맨드 입력하시다가 되신건가요?

[Gabibing]

@Jo-ad-fontes 네, 계속 입력하다보니 몇 번 됐습니다. 그런데 지금 다시 안됩니다.

[Jo-ad-fontes]

네 답변 감사합니다 ㅠ

[Gabibing]

해결된 듯하여 닫습니다.