xavier 에서 최대 몇개 모델을 동시에 서빙 할 수 있는지 파악하기

[kmu-leeky]

cnn, object detection, nlp 모델 중 최대 몇개를 동시에 모델 로드 후 추론 할 수 있는지 파악하기

[kh3654po]

xavier에서 모델을 테스트한 결과입니다.

테스트 환경

• tf serving 컨테이너를 실행 할 때 -m 옵션으로 컨테이너에 메모리를 할당함 (=메모리 제한)
• 메모리는 32G중 20G만 사용하도록 설정함 (-m 20g)
• 모델을 하나씩 늘려가며 로드 후 추론 요청 및 시간 측정
• 추론 10개를 병렬로 요청함

테스트 결과

• mobilenet v1, mobilenet v2, inception v3, yolo v5, bert imdb, distilbert sst2 모델 모두 로드 가능 했으며 결과도 측정이 됨

• mobilenet v1 avg: 0.19244351387023925 min: 0.13634967803955078 max: 0.23724722862243652

• mobilenet v2 avg: 0.12749776840209961 min: 0.04235100746154785 max: 0.15233945846557617

• inception v3 avg: 0.2473163604736328 min: 0.09187173843383789 max: 0.3184628486633301

• yolo v5 avg: 0.8897172451019287 min: 0.4455561637878418 max: 1.2156414985656738

• bert imdb avg: 0.3878570318222046 min: 0.3639242649078369 max: 0.4377477169036865

• distilbert sst2 avg: 0.383318567276001 min: 0.37586522102355957 max: 0.3879513740539551