FastDeploy模型、硬件支持计划

[leiqing1]

模型 （CV、NLP、Speech、Cross-modal）

• [ ] PP-Tracking(Doing)
• [ ] Robust Video Matting(Doing)

平台& 硬件 （云、边、端）

• [ ] Android ARM CPU
• • [ ] Picodet(Doing)
• • [ ] PaddleClas(Doing)
• [ ] RKNN2
• • [ ] YOLOv5(Doing)

如果你希望FastDeploy支持新的AI模型/新硬件，或与FastDeploy共建生态，欢迎提供如下信息我们：

1. 硬件型号：例如: 晶晨A311D
2. 操作系统：例如：Linux
3. 网络名称：例如：PP-PicoDet
4. 模型链接：例如：https://github.com/PaddlePaddle/PaddleDetection/tree/release/2.4/configs/picodet 
5. 详细描述：例如：希望将PP-PicoDet-M模型用到自己车辆检测场景中实现服务化部署，但是对算法前后处理不理解，部署困难。
6. 联系方式：leiqing@baidu.com

[datalee]

这个只是针对图像类的模型吗？ NLP类的能用不？

[jiangjiajun]

@datalee 可以，目前已经有UIE。 PaddleNLP的所有部署之后都会由FastDeploy来支持哈

[jiangjiajun]

https://github.com/PaddlePaddle/FastDeploy/issues/369 PP-ShiTu模型

[jiangjiajun]

• [x] https://github.com/PaddlePaddle/FastDeploy/issues/361 RobustVideoMatting模型（已支持）

[jiangjiajun]

https://github.com/PaddlePaddle/FastDeploy/issues/358 3D目标检测模型

[jiangjiajun]

• [x] https://github.com/PaddlePaddle/FastDeploy/issues/138 YOLOv5 Classification模型支持(已支持)

[dachengai]

mnn 或ncnn 计划支持么，非常期待

[jiangjiajun]

https://github.com/PaddlePaddle/FastDeploy/issues/373 PPTracking已经支持

[datalee]

@datalee 可以，目前已经有UIE。 PaddleNLP的所有部署之后都会由FastDeploy来支持哈

有对比过和onnx之间的性能差异吗？

[KRuok]

请问大佬有对tracking模型和像pphuman 这样的action识别流程的支持计划吗

[jiangjiajun]

https://github.com/PaddlePaddle/FastDeploy/issues/465 YOLOv5-seg

[wzy123456wzy]

有没有支持windows 32?

[jiangjiajun]

mnn 或ncnn 计划支持么，非常期待

如果有外部开发者有兴趣来做这个事的话，我可以帮忙一起Review和说明如何集成

[jiangjiajun]

Tracking已经集成支持

[jiangjiajun]

有没有支持windows 32?

现在都基本是Windows x64了呢，你在什么场景下还依赖windows 32呢

[acgcc12]

paddlex 训练的模型能通过这个部署嘛

[jiangjiajun]

paddlex 训练的模型能通过这个部署嘛

正在支持中

[monkeycc]

paddleX 期待

[dwdcth]

paddleX 期待 +1

[trefoil0219]

硬件型号：Nvidia T4 操作系统：Linux

需求描述：希望FastDeploy支持nvidia gpu的硬解和推流

[liutingxi]

硬件型号：RK3588 操作系统：Linux 网络名称：PP-TinyPose 模型链接：https://github.com/PaddlePaddle/PaddleDetection/tree/release/2.5/configs/keypoint/tiny_pose

[jiangjiajun]

硬件型号：Nvidia T4 操作系统：Linux

需求描述：希望FastDeploy支持nvidia gpu的硬解和推流

@wang-xinyu

[wang-xinyu]

@populustremble FastDeploy Streamer已经有相应的支持，可参考https://github.com/PaddlePaddle/FastDeploy/tree/develop/streamer

硬件型号：Nvidia T4 操作系统：Linux

需求描述：希望FastDeploy支持nvidia gpu的硬解和推流

[trefoil0219]

@populustremble FastDeploy Streamer已经有相应的支持，可参考https://github.com/PaddlePaddle/FastDeploy/tree/develop/streamer

硬件型号：Nvidia T4 操作系统：Linux 需求描述：希望FastDeploy支持nvidia gpu的硬解和推流

这部分功能有计划实现python的api吗

[wang-xinyu]

@populustremble 有计划，预计3月底之前会有python API

[qiulongquan]

硬件型号：Nvidia Jetson nano b01 4G 操作系统：Linux(ubuntu)

需求描述：希望FastDeploy支持在nvidia jetson nano上面进行脸部检测的trt部署，现在根据我测试的结果 yolov7face retinaface 模型还不能在nano上面实现trt加速预测功能

[trefoil0219]

硬件型号：Nvidia T4 操作系统：Linux

需求描述：strongsort、ocsort、bytetrack、botsort 模型支持

[Amy234543]

硬件型号：nvidia-smi A40 和A100 操作系统：Linux 模型：paddle的mbart模型 需要mbart模型部署翻译服务接口

[sunzhaoyang]

OCR 的 KIE 有支持计划吗？ https://github.com/PaddlePaddle/PaddleOCR/blob/release/2.6/ppstructure/README_ch.md

[apexg]

硬件型号：昇腾310 操作系统：linux aarch64 网络名称：uie 模型链接： 详细描述：希望将uie模型用到行业的文本信息抽取中，但cpu推理太慢了，期待使用昇腾加速卡进行推理，现在无法部署。 联系方式：18620401618

[leiqing1]

现在支持的1684X，因为算能那边在升级工具链，再过一个Q，计划1684也会完备MLIR工具，届时FastDeploy里面的适配工作就可以直接在1684上支持啦。

[cumthxy]

KIE模型有支持计划么

[bigbeef]

GTX750Ti

[WilliamQf-AI]

有没有文档矫正的功能

[qiulongquan]

请问 我们需要PPHGNet samll版 分类模型 的rknn模型转换支持，尝试使用现在公开的 ResNet50_vd （https://github.com/PaddlePaddle/FastDeploy/tree/develop/examples/vision/classification/paddleclas/rockchip/rknpu2） 但是转换成rknn模型后运行 infer.py 发生报错。 1.请问现在是不是还没有支持PPHGNet模型 2.什么时候可以支持 3.现阶段通过其他方式 是否可以实现PPHGNet模型的rknn模型转换并正常输出预测结果

[121786404]

@datalee 可以，目前已经有UIE。 PaddleNLP的所有部署之后都会由FastDeploy来支持哈

NLP模型支持的好少，未来会支持更多的大模型吗？不只是PaddleNLP的。

[SunYanCN]

支持GPT2 #2051

[ijiami-01]

BM1684期待有更好的支持，现在使用examples目录下的YOLOV5的cpp推理，会卡住不动，下面是执行日志。 @BM1684-180:/fastdeploy/examples/vision/detection/yolov5/sophgo/cpp/build$ ./infer_demo ../model 000000014439.jpg [BMRT][bmcpu_setup:351] INFO:cpu_lib 'libbmcpu.so' is loaded. bmcpu init: skip cpu_user_defined open usercpu.so, init user_cpu_init [BMRT][load_bmodel:1027] INFO:Loading bmodel from [../model/yolov5s_1684x_f32.bmodel]. Thanks for your patience... [BMRT][load_bmodel:991] INFO:pre net num: 0, load net num: 1 [INFO] fastdeploy/runtime/runtime.cc(367)::CreateSophgoNPUBackend Runtime initialized with Backend::SOPHGO in Device::SOPHGOTPUD.

[monkeycc]

YOLOv8 Classification Segmentation KeyPoint 什么时候能支持

[nefusmzj]

硬件型号：Intel J1900、Celeon系列 操作系统：Linux 网络名称：PPOCRV3、paddleseg-DeeplabV3 详细描述：我们希望将OCR和分割能力，安装在工控机中，目前主流低功耗工控机所使用的atom、赛扬等低端intel处理器，均不支持AVX指令集。

实测发现paddleserving部署OCR，因为无AVX指令因此失败。

请问FastDeploy是否支持无AVX的intel CPU，若不支持，是否有支持计划。

[jiangjiajun]

硬件型号：Intel J1900、Celeon系列 操作系统：Linux 网络名称：PPOCRV3、paddleseg-DeeplabV3 详细描述：我们希望将OCR和分割能力，安装在工控机中，目前主流低功耗工控机所使用的atom、赛扬等低端intel处理器，均不支持AVX指令集。

实测发现paddleserving部署OCR，因为无AVX指令因此失败。

请问FastDeploy是否支持无AVX的intel CPU，若不支持，是否有支持计划。

目前需要avx指令的应该是Paddle Inference后端。可以自行编译FastDeploy，仅集成ONNXRuntime推理后端即可。

[lrp123456]

swin transformer模型是否有计划支持 硬件：CPU、GPU 操作系统:Linux Windows 网络名称：faster rcnn（swin） 模型链接：https://github.com/PaddlePaddle/PaddleDetection/blob/release/2.6/configs/faster_rcnn/_base_/faster_rcnn_swin_tiny_fpn.yml

[nine-city]

支持paddlespeech吗 硬件：CPU、GPU（T4和3080） 操作系统:Linux Windows 模型链接：https://github.com/PaddlePaddle/PaddleSpeech/blob/develop/docs/source/released_model.md

[monkeycc]

PP-YOLOE-R 硬件：CPU、GPU 操作系统:Linux Windows 模型链接: https://github.com/PaddlePaddle/PaddleDetection/tree/release/2.7/configs/rotate/ppyoloe_r

旋转框，是否能支持

[weida008]

硬件型号：RTX4070 操作系统：Linux 网络名称：PP-PicoDet

[lqsweet]

硬件型号：RK3588 操作系统：linux 网络名称：PP-YOLOE-R 模型链接： https://github.com/PaddlePaddle/PaddleDetection/tree/release/2.7/configs/rotate/ppyoloe_r 详细描述：自己移值的不能正确预测角度