[NSML] 데이터 로드시 메모리 부족 에러

[deep-over]

주제

• 메모리 부족

상황 (자세히 작성해주시면 좋습니다.)

• nsml run --memory "78G" 설정 후 실행시 데이터를 로드할때부터 에러가남
• nsml session 로그를 보면
• [result] memory usage: 48793.96094 MB /bin/bash: line 1: 105 Killed python -u test_main.py User session exited 78G가 다 되지 않았는데도 죽음

내용 (첨부 가능한 이미지 추가해주시면 더 좋습니다.)

• 

기타 문의 사항

• 아무리 데이터를 줄이고 줄여도 계속 동일한 문제 발생
• 베이스라인 코드 데이터양(*0.1)과 배치사이즈(1)를 최소한으로 줄여도 에러가 계속남

[deep-over]

메모리 다시 찍어본 결과 이후 과정에서 메모리 증가로 에러 확인