모델 용량 관련 질문입니다.

chanmin92 commented 5 years ago

안녕하세요.

NSML 시스템 및 정책 상으로 허용 가능한 범위(e.g. 모델 포함 총 사이즈 5GB 이내)가 있다고 하셨는데, 정확히 어떤 용량을 말씀하시는것인지 이해가 잘 되지 않습니다.

램을 말씀하시는건지, GPU 용량을 말씀하시는것인지 잘 모르겠습니다. 제가 참고할 만한 자료가 있다면 알려주시면 감사하겠습니다.

rkdls commented 5 years ago

안녕하세요.

처음에 run 을 실행시킬때 로컬의 파일을 올려서 NSML서버상에서 코드가 실행될텐데요.

로컬에서 업로드된 파일의 용량 + 세션 안에서 다운받은 데이터 사이즈 + 세션안에서 생성된 모델 이 5GB를 초과하면 안됩니다. (nsml.save()로 저장되는 모델은 카운트되지 않습니다.)

chanmin92 commented 5 years ago

답변해주셔서 감사합니다.

사실 5GB를 초과하면 안된다는 내용을 이해를 못하고 있습니다.

단순히 하드에 저장되는 모델의 크기가 5GB가 넘으면 안된다는 말씀이신지 아니면 모델이 inference 하는 과정에서 사용되는 램 혹은 gpu의 용량이 5GB가 넘으면 안된다는 뜻인지 잘 모르겠습니다.

감사합니다.

2018년 11월 21일 (수) 오후 6:14, thesky notifications@github.com님이 작성:

안녕하세요.

처음에 run 을 실행시킬때 로컬의 파일을 올려서 NSML서버상에서 코드가 실행될텐데요.

로컬에서 업로드된 파일의 용량 + 세션 안에서 다운받은 데이터 사이즈 + 세션안에서 생성된 모델 이 5GB를 초과하면 안됩니다. (nsml.save()로 저장되는 모델은 카운트되지 않습니다.)

— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub https://github.com/naver/nlp-challenge/issues/10#issuecomment-440590967, or mute the thread https://github.com/notifications/unsubscribe-auth/AgLjJ0Cr7jRmkxpFGRKYRQs8pbKWWPSwks5uxRlsgaJpZM4YsleK .

-- ———————————————————————————————————— Chanmin Park, Master's student Natural Language Processing Laboratory, Graduate School of Computer Science and Engineering, Sogang University, Seoul, Korea ————————————————————————————————————

rkdls commented 5 years ago

"단순히 하드에 저장되는 모델의 크기가 5GB를 넘으면 안된다는 말씀이신지" -> training하다가 모델을 여러개 저장할텐데 그 여러개의 모델 들이 합산된 사이즈가 5GB를 넘으면 안됩니다. (외부데이터 포함입니다.)

"모델이 inference하는 과정에서 사용되는 램 혹은 gpu의 용량이 5GB가 넘으면 안된다는 뜻인지" -> 램 혹은 gpu의 용량과는 상관이없습니다.

감사합니다.

chanmin92 commented 5 years ago

답변해주셔서 감사합니다.

그리고 추가적으로 문의하고 싶은 사항이 있습니다.

실은 제가 팀명을 작성하는 과정에서 오타가 발생한 것을 확인했는데요..

"Sogang_Alzzam"이란 팀명으로 지원한다는 것이 그만, "Songang_Alzzam" 이란 팀명으로 제출을 했습니다.

변경이 안된다는 설명을 보긴 했지만 아무래도 학교, 연구실 이름이 걸린 팀명이다 보니 이렇게 메일을 보내게 되었습니다.

감사합니다.

2018년 11월 22일 (목) 오전 11:12, thesky notifications@github.com님이 작성:

"단순히 하드에 저장되는 모델의 크기가 5GB를 넘으면 안된다는 말씀이신지" -> training하다가 모델을 여러개 저장할텐데 그 여러개의 모델 들이 합산된 사이즈가 5GB를 넘으면 안됩니다. (외부데이터 포함입니다.)

"모델이 inference하는 과정에서 사용되는 램 혹은 gpu의 용량이 5GB가 넘으면 안된다는 뜻인지" -> 램 혹은 gpu의 용량과는 상관이없습니다.

감사합니다.

— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub https://github.com/naver/nlp-challenge/issues/10#issuecomment-440891388, or mute the thread https://github.com/notifications/unsubscribe-auth/AgLjJ-OiyeE2thaf6QlI_sNI0qcqSQkIks5uxggBgaJpZM4YsleK .

-- ———————————————————————————————————— Chanmin Park, Master's student Natural Language Processing Laboratory, Graduate School of Computer Science and Engineering, Sogang University, Seoul, Korea ————————————————————————————————————

nsml-admin commented 5 years ago

메일전달드렸습니다.

chanmin92 commented 5 years ago

안녕하세요.

팀원 추가에 대해서 문의하고 싶습니다.

사실, 신청을 하는 과정에서 팀원이 제대로 정해지지 않은 상황에서 급한 마음에 일단 신청을 하게 되었습니다. 현재 저 혼자만 팀으로 구성되어 등록이 되어있는 상황인데 여기에 같이 참여하는 팀원을 추가할 수 있는지 여쭤보고 싶습니다.

감사합니다.

2018년 11월 22일 (목) 오전 11:16, 박찬민 cksals302@gmail.com님이 작성:

답변해주셔서 감사합니다.

그리고 추가적으로 문의하고 싶은 사항이 있습니다.

실은 제가 팀명을 작성하는 과정에서 오타가 발생한 것을 확인했는데요..

"Sogang_Alzzam"이란 팀명으로 지원한다는 것이 그만, "Songang_Alzzam" 이란 팀명으로 제출을 했습니다.

변경이 안된다는 설명을 보긴 했지만 아무래도 학교, 연구실 이름이 걸린 팀명이다 보니 이렇게 메일을 보내게 되었습니다.

감사합니다.

2018년 11월 22일 (목) 오전 11:12, thesky notifications@github.com님이 작성:

"단순히 하드에 저장되는 모델의 크기가 5GB를 넘으면 안된다는 말씀이신지" -> training하다가 모델을 여러개 저장할텐데 그 여러개의 모델 들이 합산된 사이즈가 5GB를 넘으면 안됩니다. (외부데이터 포함입니다.)

"모델이 inference하는 과정에서 사용되는 램 혹은 gpu의 용량이 5GB가 넘으면 안된다는 뜻인지" -> 램 혹은 gpu의 용량과는 상관이없습니다.

감사합니다.

— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub https://github.com/naver/nlp-challenge/issues/10#issuecomment-440891388, or mute the thread https://github.com/notifications/unsubscribe-auth/AgLjJ-OiyeE2thaf6QlI_sNI0qcqSQkIks5uxggBgaJpZM4YsleK .

-- ———————————————————————————————————— Chanmin Park, Master's student Natural Language Processing Laboratory, Graduate School of Computer Science and Engineering, Sogang University, Seoul, Korea ————————————————————————————————————

-- ———————————————————————————————————— Chanmin Park, Master's student Natural Language Processing Laboratory, Graduate School of Computer Science and Engineering, Sogang University, Seoul, Korea ————————————————————————————————————

naver / nlp-challenge

모델 용량 관련 질문입니다. #10