ddps-lab / tfserving-inference

0 stars 2 forks source link

bench code refactoring #6

Closed kh3654po closed 1 year ago

kh3654po commented 1 year ago

현재 bench 코드는 각 요청 쓰레드의 추론 시간과 모든 요청을 처리한 소요시간만 나옴 이를 기존의 결과값인 최소, 최대, 평균 시간으로 출력하도록 변경 더 나아가서 모인 소요시간 데이터를 분석하기 위해 결과 파일을 어떤 형식으로 저장할지 고민해봐야함 (csv, google spredsheet,...)

mh3ong commented 1 year ago

현재 google spread sheet를 통해 시간 측정 정보를 기록하는 것 까지 되어있으며, 부분적 모듈화 까지 진행이 되어있습니다. 이를 좀더 개선하여 /bench/run_bench.py를 만들고, variables.py에서 model_name, architecture를 지정하여 모델 안의 preprocessing 절차 등을 모듈로 받아와 한곳에서 실행할 수 있도록 개선할 계획입니다.

mh3ong commented 1 year ago

9 PR에서 모두 해결되었으므로 close 하겠습니다.