search

PaddlePaddle / Paddle-Lite

PaddlePaddle High Performance Deep Learning Inference Engine for Mobile and Edge (飞桨高性能深度学习端侧推理引擎）
https://www.paddlepaddle.org.cn/lite
Apache License 2.0
6.89k stars 1.6k forks source link

新人求助，能提供bert，pythonAPI推理部署示例嘛，我该如何做前处理和后处理。 #10526

Open Piterang opened 1 week ago

Piterang commented 1 week ago

新人求助，能提供bert，pythonAPI推理部署示例嘛，我该如何做前处理和后处理。

hong19860320 commented 1 week ago
  1. 如果是口语理解（Spoken Language Understanding，SLU）任务可以参考 https://github.com/PaddlePaddle/PaddleNLP/blob/develop/model_zoo/ernie-3.0-tiny/deploy/cpp/infer_demo.cc 或 https://github.com/hong19860320/PaddleLite-generic-demo/blob/55c8f7936e6e1c40231c5c9472c5251891a9ae01/spoken_language_understanding_demo/shell/demo.cc#L344 ，需要注意的是 tokenizer 使用了 PaddleNLP 的 fast_tokenizer 加速库 https://github.com/PaddlePaddle/PaddleNLP/tree/develop/fast_tokenizer 。
  2. 不同任务前、后处理差异都比较大，可以参考 PaddleNLP repo 相关示例 https://github.com/PaddlePaddle/PaddleNLP/tree/develop/model_zoo 自行编写代码。
Piterang commented 1 week ago
  1. 如果是口语理解（Spoken Language Understanding，SLU）任务可以参考 https://github.com/PaddlePaddle/PaddleNLP/blob/develop/model_zoo/ernie-3.0-tiny/deploy/cpp/infer_demo.cc 或 https://github.com/hong19860320/PaddleLite-generic-demo/blob/55c8f7936e6e1c40231c5c9472c5251891a9ae01/spoken_language_understanding_demo/shell/demo.cc#L344 ，需要注意的是 tokenizer 使用了 PaddleNLP 的 fast_tokenizer 加速库 https://github.com/PaddlePaddle/PaddleNLP/tree/develop/fast_tokenizer 。
  2. 不同任务前、后处理差异都比较大，可以参考 PaddleNLP repo 相关示例 https://github.com/PaddlePaddle/PaddleNLP/tree/develop/model_zoo 自行编写代码。

感谢！