search

cpnr / computing

0 stars 0 forks source link

possible GPU (but most possibly overall) performance glitch at full-load #30

Closed jhgoh closed 7 months ago

jhgoh commented 7 months ago

Full-load 상태에서 GPU job 효율이 떨어지는 것을 확인함. mewtwo에서 GPU job은 실행중이었음. (training epoch 100중 약 40-50정도 진행상태)

image

hep server 에서 disk read시의 대역폭 한계 때문으로 추정. (hep:sdb에서 읽기 속도 약 60MB/s)

image
jhgoh commented 7 months ago

모니터링 중 특이사항을 남기는 것으로 문제 자체는 아니므로 이 issue는 바로 close함.