PaddlePaddle / Paddle-Lite

PaddlePaddle High Performance Deep Learning Inference Engine for Mobile and Edge (飞桨高性能深度学习端侧推理引擎)
https://www.paddlepaddle.org.cn/lite
Apache License 2.0
6.97k stars 1.61k forks source link

paddle-lite 当前可以用于大模型部署吗,未来是否有相关的开发计划 #10596

Open chayliu1991 opened 3 days ago

chayliu1991 commented 3 days ago

欢迎您对 Paddle Lite 提出建议,非常感谢您对 Paddle Lite 的贡献! 在留下您的建议时,辛苦您同步提供如下信息:

yulangz commented 3 days ago

目前来看,能力是具备的,但是到具体模型的时候,算子可能会缺失,如果有需求,可以提到 https://github.com/PaddlePaddle/Paddle-Lite/issues/10452