PaddlePaddle / FastDeploy

⚡️An Easy-to-use and Fast Deep Learning Model Deployment Toolkit for ☁️Cloud 📱Mobile and 📹Edge. Including Image, Video, Text and Audio 20+ main stream scenarios and 150+ SOTA models with end-to-end optimization, multi-platform and multi-framework support.
https://www.paddlepaddle.org.cn/fastdeploy
Apache License 2.0
2.83k stars 445 forks source link

Triton backend如何选择 #2136

Open firedent opened 12 months ago

firedent commented 12 months ago

FastDeploy 服务化部署中提到的PaddleDetectionPaddleClas等使用的是Model Ensembles方案,PaddleSpeech/PP-TTSPaddleNLP/UIE使用是python backend方案。

请问:

  1. 示例中使用了两种不同的部署方式:Model Ensembles部署和python backend部署,这是出于哪些方面的考量?
  2. 使用Model Ensembles部署的示例中的models/runtime模型使用的backend是fastdeploy。那么,直接使用fastdeploy_backend相较于triton-inference-server/backend提到的backend(比如paddlepaddle_backend或onnxruntime_backend,同样支持TRT、CUDA、CPU、OpenVINO)有那些好处?
rainyfly commented 5 months ago

emsemble的应用场景是多个模型的输入和输出互相衔接组合起来使用形成一个pipeline。python backend主要是可以将所有的推理代码自己用python脚本表示,可能会更加灵活一点,适用于需要自己有很多自定义逻辑的场景。