modelbox-ai / modelbox

A high performance, high expansion, easy to use framework for AI application. 为AI应用的开发者提供一套统一的高性能、易用的编程框架,快速基于AI全栈服务、开发跨端边云的AI行业应用,支持GPU,NPU加速。
https://modelbox-ai.com
Apache License 2.0
133 stars 38 forks source link

[Feature Request] ascend昇腾npu推理例子 #355

Open zldrobit opened 1 year ago

zldrobit commented 1 year ago

请问可以给个ascend昇腾npu推理的例子吗?官方文档只有cpu和cuda的例子。

pymumu commented 1 year ago

ascend的和GPU的图是一样的,差别的地方是推理,解码功能单元device需要指定为ascend即可。 模型文件,要转为ascend的。推理功能单元的那个toml配置文件里面,指定ascend。