昇腾atlas 310P3推理卡适配

[huangtao2999]

请提出你的问题 Please ask your question

我使用飞桨算法，微调了NLP,CV相关的模型，然后通过FastDeploy完成了在NVIDIA-GPU.T4和P4的部署。 为了适配昇腾atlas 310P3硬件，我参考FastDeploy相关文档编译昇腾环境的代码，但是遇到了问题，没有成功。 失败原因如下：昇腾atlas 310P3硬件的软件驱动版本不在支持 华为CANN<6.0，而是支持CANN>6以上版本。但是FastDeploy基于的PaddleLite还是较早适配了CANN=5.1，经推测后续应该没有对新版本的CANN再做适配。 基于上述的问题：我微调的NLP,CV相关的模型如何才能在atlas 310P3硬件完成推理适配呢，请飞浆老师帮我指导一下，给个方案。谢谢。

补充一点，我看python -m pip install --pre paddle-custom-npu -i https://www.paddlepaddle.org.cn/packages/nightly/npu/这个也是针对昇腾910B做的适配，那么在atlas 310P3推理卡上面的适配，后续有没有什么计划或安排呢？

[onecatcn]

1. python -m pip install --pre paddle-custom-npu -i https://www.paddlepaddle.org.cn/packages/nightly/npu/ 这个确实是针对910B芯片的

2. Lite对310的支持CANN版本停留在5.x，目前还没有升级的计划。

3. 310P3上的推理方案建议，能否用paddle inference，还是推荐onnx方案呢？请 @qili93 & @hong19860320 看一下

[qili93]

目前Paddle Inference暂不支持910B以外的芯片，建议使用 ONNX 方案尝试一下。

[huangtao2999]

目前Paddle Inference暂不支持910B以外的芯片，建议使用 ONNX 方案尝试一下。

您说的ONNX 方案是指：把飞桨模型转成ONNX，再从ONNX转成昇腾的 OM或其它格式，然后利用昇腾的推理方法实现吗？

[qili93]

目前Paddle Inference暂不支持910B以外的芯片，建议使用 ONNX 方案尝试一下。

您说的ONNX 方案是指：把飞桨模型转成ONNX，再从ONNX转成昇腾的 OM或其它格式，然后利用昇腾的推理方法实现吗？

是的，通过 Paddle2ONNX 工具进行转化。