edge 장비 (arm)에서 tfserving 정상 동작 확인

[mh3ong]

Tensorflow serving은 기본적으로 x86에서 동작하도록 구성되었기 때문에 edge 장비에서 동작하도록 컨테이너 이미지 빌드 및 확인이 필요합니다.

• l4t tensorflow 이미지에 tensorflow-serving 설치하여 구동 테스트 필요 (in xavier) base image : https://catalog.ngc.nvidia.com/orgs/nvidia/containers/l4t-tensorflow

[kh3654po]

현재 xavier2에서 tf serving 테스트 결과

6초가량 걸림 -> 원인 파악결과 gpu 사용을 안하고있음 -> gpu를 사용하도록 tf serving을 빌드해야한다. 기존에 테스트했던 tf serving 이미지는 x86이었음

[kmu-leeky]

오케이. 석현아. 원인을 잘 찾아냈네. 전에도 비슷한 문제가 있었던것 같아. 그때는 --gpus 옵션등을 사용해서 해결을 했던것 같은데.. 찾아보고 잘 안되면 알려주고.

[kh3654po]

현재 gpu사용하도록 변경 완료했습니다. gpu 사용후 추론시간은 0.28초 정도입니다. 따로 이슈 만들어서 이에 대한 자세한 사항을 적겠습니다.