NLP 모델 TensorRT 양자화 코드 작성 및 TFLite와 성능 비교

[unhochoi]

• 진행 사항

  • NLP 모델을 TensorRT로 Convert하는 작업을 진행 중이며, Convert 과정에서 하단 에러가 발생해 해결 중에 있습니다.

    RuntimeError: Tensorflow has not been built with TensorRT support.

  • 코드 실행 환경은 아래와 같으며, 추가적으로 놓친 환경 설정이 있는지 파악중입니다.

    • Tensorflfow 버전 : 2.7.0
    • Convert 전 모델 형식 : savedmodel
    • GPU 사용 : 가능
    • TensorRT 패키지 설치 : 완료

[unhochoi]

• colab 환경이 아닌 edge 환경에서는, tensorRT FP16 변환 코드가 정상적으로 동작되는 것을 확인
  • 실제로 잘 변환된건지에 대한 추가적인 확인 필요
  • 변환된 tensorRT 모델을 사용한 추론 코드 작성 필요
  • 해당 변환은 RNN 모델에 대한 변환이므로, 나머지 모델들에 대한 변환도 진행할 예정

[kmu-leeky]

운호야 그러면 코랩을 사용하지 않고 엣지 환경에서는 nlp 모델도 잘 convert 된다는 이야기지?

[unhochoi]

현재 RNN 모델 변환만 완료했으며, 모든 NLP 모델에 대해선 추가적인 확인이 필요합니다.

[kmu-leeky]

오케이. 다행이다. 추가적으로 호가인을 해보자. cnn 모델도 함게 해보자.

[unhochoi]

• 진행 사항

  • TensorRT로 변환한 RNN의 모델이 정상적으로 추론되는지를 확인하기 위해, 추론 코드를 추가적으로 작성하고 있습니다.

  • 이전 이슈들과 유사하게, 추론 데이터의 입력 형식에 대한 에러가 발생하고 있어 해당 문제를 해결 중에 있습니다.

    <string>:6: VisibleDeprecationWarning: 
    Creating an ndarray from ragged nested sequences (which is a list-or-tuple of lists-or-tuples-or ndarrays with different lengths or shapes) is deprecated. If you meant to do this, you must specify 'dtype=object' when creating the ndarray
    /usr/local/lib/python3.6/dist-packages/tensorflow/python/keras/datasets/imdb.py:155: 
    VisibleDeprecationWarning: Creating an ndarray from ragged nested sequences (which is a list-or-tuple of lists-or-tuples-or ndarrays with different lengths or shapes) is deprecated. If you meant to do this, you must specify 'dtype=object' when creating the ndarray
      x_train, y_train = np.array(xs[:idx]), np.array(labels[:idx])
    /usr/local/lib/python3.6/dist-packages/tensorflow/python/keras/datasets/imdb.py:156: 
    VisibleDeprecationWarning: Creating an ndarray from ragged nested sequences (which is a list-or-tuple of lists-or-tuples-or ndarrays with different lengths or shapes) is deprecated. If you meant to do this, you must specify 'dtype=object' when creating the ndarray
      x_test, y_test = np.array(xs[idx:]), np.array(labels[idx:])

  • 또한, 추론 과정에서 아래와 같은 에러가 발생해, 해당 에러가 발생하는 분기점을 파악 중이며, 발생 원인도 탐색중입니다.

    Segmentation fault (core dumped)

[kmu-leeky]

쉽지가 않구나. 그렇다해도 우선 성능 파악에 필요한 정보일수 있으니 시간을 내서 해결을 해보자.

[unhochoi]

넵, 알겠습니다.