昇腾910B上taskflow调用UIE模型推理占用显存特别大

PaddlePaddle / Paddle

PArallel Distributed Deep LEarning: Machine Learning Framework from Industrial Practice （『飞桨』核心框架，深度学习&机器学习高性能单机、分布式训练和跨平台部署）

http://www.paddlepaddle.org/

Apache License 2.0

22.28k stars 5.61k forks source link

Open silence-pan84 opened 4 days ago

silence-pan84 commented 4 days ago

昇腾910B上taskflow调用UIE模型推理占用显存特别大 c0b62cd10f2f0b976688d6fccdc6c6a

HydrogenSulfate commented 4 days ago

想问一下是用的paddle什么套件跑的UIE吗？比如paddlenlp或者是paddleocr？

silence-pan84 commented 4 days ago

想问一下是用的paddle什么套件跑的UIE吗？比如paddlenlp或者是paddleocr？

paddlenlp

HydrogenSulfate commented 4 days ago

这个可能需要麻烦 @DrownFish19 或者PaddleNLP的同学帮忙看看~

Irisnotiris commented 3 days ago

@silence-pan84 根据我个人经验，paddle的环境变量里有个显存分配策略，默认是naive_best_fit，设置paddle.set_flags({'FLAGS_allocator_strategy': 'auto_growth'})试试，希望能帮到你~ 参考：https://www.paddlepaddle.org.cn/documentation/docs/zh/2.6/guides/flags/memory_cn.html

silence-pan84 commented 3 days ago

@Irisnotiris 感谢，这种方法的确可行。