单模型拆分到多个硬件上部署的问题

PaddlePaddle / Paddle-Lite

PaddlePaddle High Performance Deep Learning Inference Engine for Mobile and Edge (飞桨高性能深度学习端侧推理引擎）

https://www.paddlepaddle.org.cn/lite

Apache License 2.0

6.98k stars 1.61k forks source link

Open chenglopl opened 5 days ago

chenglopl commented 5 days ago

我看到框架提供的set_nnadapter_device_names接口可以为单模型设置多个设备，请问可以让单模型在一个系统下的多设备上运行吗？比如模型的前半部分在昆仑芯上运行，后半部分在昇腾上运行，教程里面只提到了CPU+NPU的异构，没有查到如何处理这种情况。

zhupengyang commented 17 hours ago

目前不支持这种情况