search

ddps-lab / edge-inference

Evaluation of inference model performance on edge devices
Apache License 2.0
2 stars 3 forks source link

TPU 환경에서 NLP 모델 추론 가능성 확인 #65

Open jungae-park opened 1 year ago

jungae-park commented 1 year ago

TPU 환경에서 NLP(RNN,LSTM, BERT, Distrilbert) edgetpu-tflite 모델에 대해 raw dataset 추론 가능성을 확인합니다.

jungae-park commented 1 year ago
image

예전에 운호가 실험을 진행하였을 때 모델을 edgetpu-tflite로 변환하는 과정에서 tpu에서 support 하지 않는다는 이슈가 있었고, 현재 여전히 모델 추론이 불가능한 것인지 확인하고 있습니다. https://github.com/google-coral/edgetpu/issues/156