모델별 각 장비의 처리할 수 있는 추론요청량 측정

[kh3654po]

모델마다 자원사용량이 다른데 장비별로 처리할 수 있는 처리량에 제한이 있다. 각 장비가 모델별로 어느정도의 요청을 처리할 수 있는지 측정해야 한다.

[kh3654po]

• 각 장비가 모델별로 처리가능한 요청 최대수를 측정한다

• 시나리오는 초당 평균 n개로 총 10초동안 전송한다

• n의 최대는 50이다

• 총 요청수 = n * 10

• 실험 결과는 아래와 같다

• xavier2는 초당 mobilenet v1, mobilenet v2, inception v3가 50개 yolo v5가 17개를 처리했다

• tx2는 초당 mobilenet v1, mobilent v2가 50개 inception v3가 30개, yolo v5가 3개를 처리했다

• nano1은 mobilenet v1이 20개, mobilenet v2가 30개 inception v3가 9개, yolo v5가 1개를 처리했다

• mobilenet v1

  • xavier
    • 초당 평균 50개 총 499개 성공
  • tx2
    • 초당 평균 50개 총 499개 성공 (51초)
  • nano1
    • 초당 평균 10개 총 115개 성공
    • 초당 평균 50개 총 499개 실패
    • 초당 평균 30개 총 307개 실패
    • 초당 평균 20개 총 199개 성공

• mobilenet v2

  • xavier
    • 초당 평균 50개 총 505개 성공
  • tx2
    • 초당 평균 40개 총 404개 성공
    • 초당 평균 50개 총 505개 성공
  • nano1
    • 초당 평균 20개 총 202개 성공
    • 초당 평균 30개 총 305개 성공
    • 초당 평균 40개 총 404개 실패

• inception v3

  • xavier
    • 초당 평균 50개 총 502개 성공 (44초)
  • tx2
    • 초당 평균 4개 총 42개 성공
    • 초당 평균 7개 총 68개 성공
    • 초당 평균 10개 총 107개 성공
    • 초당 평균 15개 총 148개 성공
    • 초당 평균 20개 총 196개 성공
    • 초당 평균 30개 총 307개 성공
    • 초당 평균 50개 총 502개 실패
  • nano1
    • 초당 평균 4개 총 42개 성공
    • 초당 평균 7개 총 68개 성공
    • 초당 평균 8개 총 79개 성공
    • 초당 평균 9개 총 91개 성공
    • 초당 평균 10개 총 107개 실패

• yolo v5

  • xavier

    • 초당 평균 20개 총 205개 실패
    • 초당 평균 9개 총 89개 성공
    • 초당 평균 15개 총 154개 성공
    • 초당 평균 16개 총 162개 성공
    • 초당 평균 17개 총 171개 성공 (186초)
    • 초당 평균 18개 총 184개 실패

  • tx2

    • 초당 평균 5개 총 56개 실패
    • 초당 평균 3개 총 26개 성공
    • 초당 평균 4개 총 40개 실패

  • nano1

    • 초당 평균 5개 총 56개 실패
    • 초당 평균 3개 총 26개 실패
    • 초당 평균 2개 총 20개 실패
    • 초당 평균 1개 총 9개 성공

[kh3654po]

현재는 간단하게 각 장비별로 어떤 모델을 최대로 얼마나 처리 가능한지 측정을 해보았습니다. 초당 50개(총 500개) 이상의 요청에 대해서는 아직 진행하지 않았는데 이 이상도 측정해 볼까요? 앞으로는 요청을 보내는 시간을 늘려서도 실험을 진행하겠습니다. 예를들어 tx2가 yolo v5를 10초동안 최대 30개정도 처리를 하는데 20초동안 60개를 처리할 수 있는지도 확인해보겠습니다. 그리고 최대 요청개수를 처리할 때 걸리는 시간도 기록하겠습니다.

[kmu-leeky]

오케이. 석현아 잘했다. 오늘 스크럼 미팅 마치고 다음 단계 실험 내용을 같이 논의해보자.