Rate limit exceeded : remained time : 13m25s

[tjdhg456]

macOS version 10.1.1

Informations

CLI

• OS (Mac, Windows, Linux, etc) and version:
• client version(please show nsml --version):

WEB

• Brower (chrome, firfox, etc):
• URL:

What is your NSML login ID? tjdhg456

Question (한글이 편하시면 한글로 작성하시면 됩니다.)-->

안녕하세요. 문의드릴게 있어 글 남깁니다. 위의 제목과 같이, Rate limit exceeded : remained time : 13m25s 에러가 떠서 제출을 못합니다.

혹시 왜 해당 이유가 생기는지 알 수 있을까요.

적당한 resource를 찾지 못해 계속 gpu나 cpu 줄여가면서 실행시켜봤는데, 해당 에러가 떠서 코드 실행이 막혀있습니다. 다른 글을 보니, 과도한 접속을 막는다고 되어있던데, 주어진 시간을 기다린 후에는, 다시 정상적으로 이전과 같이 사용가능한 것일까요. 감사합니다.

그리고, 제가 NSML 조작 법이 미숙해서 사용법과 관련된 두 가지 질문을 드리려고 합니다.

1. 한 세션내에서 코드를 여러번 돌리는 방법이 있을까요.. 지금은 코드를 실행할때마다 새로운 세션이 만들어집니다. 계속 데이터도 다운받아야 하고요.

2. GPU자원은 NSML 홈페이지를 통해서 확인 가능한데, CPU나 RAM 사용량 등은 어떻게 확인 할 수 있을까요. 계속 남는 것 같은데 에러가 발생해서요. (덧붙이자면, NSML 홈페이지의 resource에 쓰여있는 제한 범위 내에서는 사용했습니다.) 이만 마치겠습니다.

감사합니다.

[bluebrush]

@tjdhg456 님, 불편을 드려서 죄송합니다. rate limit는 nsml로 요청하는 명령이 실패하는 것을 반복적으로 보낼경우 전체 시스템 안정성을 위해서 일시적으로 사용자의 사용을 지연시키는 것입니다. 보통은 script를 통한 반복적인 명령서 실행으로 발생하며, 자원 할당이 안된는 상황에서 반복적인 명령어 실행시 발생하고 있습니다.

1. nsml.save()를 사용하여 한 세션에서 저장한 파일을 다른 세션에서도 사용 가능합니다. 혹시, 이기능을 참고하시면 도움이 되지 않을까 생각됩니다. nsml.save() 기능을 참고하시면 될 것 같습니다. 추가 댓글로 좀더 자세한 설명을 달겠습니다.

2. 가용 자원은 nsml 홈페이지(GPU, CPU, RAM), nsml CLI를 통하여 확인가능합니다. 자신이 사용중인 자원의 현황은 GPU뿐인 것이 문제로 보여집니다. 보통은 run을 할때, CPU나 memory옵션을 주지 않고 진행합니다. 이경우, GPU수에 비례하여 자원을 할당 받을 수 있는데, CPU난 memory를 기준값(GPU1개당 cpu 4개 memory 28GB) 보다 많이 사용할 경우 cpu와 memory의 부족으로 추가 세션을 만들지 못하는 경우가 생길수 있습니다. 이부분에 대한 기능 보안을 위해서 금일중에 자신이 사용중인 GPU정보 아래에 CPU와 memory 사용량도 함께 표기하도록 수정을 진행하도록 하겠습니다.

[bluebrush]

@tjdhg456 님, 추가로 확인할 사항이 있습니다. 본 경진대회에서는 외부 데이터 활용 및 pre-trained model에 대한 사용을 금지하고 있습니다. 외부에서 받는 데이터가 어떤 종류인지 확인 가능할까요?

[tjdhg456]

네 안녕하세요. 외부에서 데이터를 받는게 아니고, -d 4_cls_food 로해서 데이터를 로딩할때 시간이 걸리던데, 그게 그때마다 서버에서 데이터를 불러와서 시간이 걸리는 줄 알고, 혹시 이 시간을 줄일 수 있나 싶었습니다.

[tjdhg456]

추가적으로 하나만 더 질문 가능할까요. NSML에서 cannot upload the models above ~~라는 에러가 뜨는데, 이는 현재 저장하고자 하는 모델의 크기가 너무커서 제한된건지,, 혹은 기존에 저장된 모델들이 차지하고 있는 공간때문에 부족해서 저장이 안되는건지 여쭈어 보고 싶습니다.

[nsml-admin]

@tjdhg456 data를 로드할때 걸리는 시간은 줄일수가 없습니다.

Cannot upload the model 관련 에러는 모델사이즈 제한이 있는 문제일경우 사이즈제한 이상의 모델을 저장할때 발생하는 에러메세지입니다.

[tjdhg456]

질문이 길어져서 죄송합니다.

제가 궁금한 점은, 14_inpaint 문제는 사이즈 제한이 없는 문제임에도 불구하고 (5M prarameter 문제 아님) 오류가 뜨더라구요. 해당 warning과 session 첨부합니다.

warning 만 뜨는것이 아닌가 싶어서, 저장된 모델을 확인해봤는데, 아무 것도 저장되지 않았습니다.

[bluebrush]

@tjdhg456 사용 정보에 GPU사용량 이외, CPU, RAM도 추가하였습니다. 웹 UI에서 확인가능합니다.

[jungwoo-ha]

@tjdhg456 인페인팅 문제는 파라미터수 5M 제한이 있는 문제입니다. 감사합니다. 5M제한은 디텐션 2개와 인페인팅입니다.

[tjdhg456]

네. 감사합니다.