Naver-AI-Hackathon / AI-Speech

31 stars 5 forks source link

GPU 자원 배분 정책 (GPU, credit 등) #19

Open bluebrush opened 4 years ago

bluebrush commented 4 years ago

예선 1차 초/중반까지는 전체 GPU 자원의 효율 최대화를 위해서 배분 예선 후반에는 submit 효율을 고려한 자원 효율 최대화 고려 예정

클러스터 전체 GPU 활용 수준에 따라서 가변적으로 조정.

  1. 늘리는 기준: 60%이하
  2. 줄이는 기준: 90%이상. 추가 고려사항 : RAM, CPU 등의 기타 자원의 조합을 고려하여 배분될 예정.

Credit 배분 기준: 현재, 10일치의 credit이 충전된 상태이며, 리소스 상황에 따라서 더 많이 지원될 가능성이 높음.

주의사항: 대회 후반부로 갈수록, credit이 많이 남아있어도 GPU 자원이 없어서 동시에 많은 학습을 돌리지 못하는 사례가 많으니 참고하시기 바랍니다.

현재 설정: 팀당 동시 사용 GPU수를 4GPU 변경 예정.