coral.ai에서 제공하는 TF ver.1 모델과 TF ver.2 모델 비교

[leehanjeong]

coral.ai에서 제공하는 동일한 모델의 TF ver.1과 TF ver.2에서의 추론 성능을 EdgeTPU와 CPU에서 비교합니다.

[leehanjeong]

processor	TF ver.	model	batch size	accuracy	model load time	dataset load time	inference time	inference time(avg)	IPS	IPS(inf)
CPU	1	coral MobileNet V1	1	0.777	0.025	22.472	44.595	0.165	14.905	6.071
CPU	2	coral MobileNet V1	1	0.747	0.024	21.559	48.027	0.179	14.366	5.598
CPU	1	coral MobileNet V2	1	0.793	0.025	21.485	43.172	0.161	15.460	6.223
CPU	2	coral MobileNet V2	1	0.700	0.045	21.483	45.825	0.167	14.847	5.983
TPU	1	coral MobileNet V1	1	0.777	3.126	21.472	15.834	0.015	24.733	65.151
TPU	2	coral MobileNet V1	1	0.747	3.127	21.451	16.052	0.016	24.613	64.217
TPU	1	coral MobileNet V2	1	0.794	3.125	21.537	17.231	0.017	23.870	59.747
TPU	2	coral MobileNet V2	1	0.706	3.130	21.497	17.427	0.017	23.779	59.091

비교 결과, 정확성과 추론시간 모두 TF ver. 1을 사용할 때 더 우수함을 볼 수 있었습니다. 하지만 저희에게 중요한 추론 시간만을 봤을 때 많은 차이가 나는 것은 아닌 것 같습니다. 참고로 CPU에서는 빠른 실험을 위해 멀티프로세싱 코드로 실험하였습니다.

[kmu-leeky]

그러면 가능하면 v2의 모델을 사용하지만, TF v1 만 있는 모델이 있다면 그냥 그걸 돌려봐도 성능 메트릭상의 큰 차이점은 없을걸로 보이네. 편한 마음으로 TF v1 모델을 사용해도 될것 같아. good check!