minio.error.ResponseError 문제

[curieuxjy]

Informations

CLI

• OS (Mac, Windows, Linux, etc) and version: Windows
• client version(please show nsml --version): nsml run
• 전체 실행 명령어:

WEB

• Brower (chrome, firfox, etc): chrome
• URL: https://hack.nsml.navercorp.com/terminal/Avantgarde_Vision/ir_ph1_v2/89

NSML login ID 가 무엇인가요? JungyeonLee6

문제가 발생한 세션은 어떤건가요? (bug message or screenshot) minio.error.ResponseError: ResponseError: code: XMinioStorageFull, message: Storage backend has reached its minimum free disk threshold. Please delete a few objects to proceed., bucket_name: sessions, object_name: Avantgarde_Vision/ir_ph1_v2/89/nsml_model/41/model/model, request_id: 157871940BF524E7, host_id: 3L137, region: User session exited

재현방법은 어떻게 되나요? 모델 학습중 애러

예상했던 동작방식은 무엇인가요? 앞에서 같은 모델로 epoch 100까지 돌아갔었기 때문에 학습이 epoch 300까지 늘려서 돌리고 있었습니다. 새롭게 돌리던(늘린 모델) 모델이 42번까지만 돌고 멈췄습니다.

제안하고 싶은 해결방법이 있나요? 어떻게 해결할지 모르겠어요

[Hackoperation]

안녕하세요.

모델을 저장하는 스토리지 서버가 순간적으로 한계치까지 사용되어서 발생한 에러로 보이고, 현재는 스토리지의 공간을 어느정도까지 정리를 한 상태입니다.

똑같은 에러가 발생한다면 다시 제보부탁드리며 불편을드려서 죄송합니다.

감사합니다.

[heasungkim]

@Hackoperation 일요일 23시 48분 현재 같은 문제가 발생해서 모델을 저장하지 못하고 있어 학습 전혀 할 수가 없습니다. ㅠㅠ

[ttagu99]

다시발생했네요.ㅜ 저번 공지처럼 이미제출한 세션의 모델들과 필요 없는 파일들 삭제에 동참해야겠습니다~ ㅎ 저도 지금 train중인 session 빼고는 모두 삭제했습니다~