search

PaddlePaddle / PaddleNLP

👑 Easy-to-use and powerful NLP and LLM library with 🤗 Awesome model zoo, supporting wide-range of NLP tasks from research to industrial applications, including 🗂Text Classification, 🔍 Neural Search, ❓ Question Answering, ℹ️ Information Extraction, 📄 Document Intelligence, 💌 Sentiment Analysis etc.
https://paddlenlp.readthedocs.io
Apache License 2.0
12.1k stars 2.94k forks source link

[Question]: 使用fastdeploy部署controlnet时，无法启动，使用paddle_tensorrt 的 backend，内存使用量一直增长到OOM然后被Killed #5617

Closed ViewWholeWorld closed 7 months ago

ViewWholeWorld commented 1 year ago

请提出你的问题

paddlepaddle，fastdeploy均使用dev分支，controlnet模型可以成功导出， 但是使用fastdeploy跑demo时，使用paddle_tensorrt 的 backend，内存使用量一直增长到OOM然后被Killed，被kill掉时，大概使用了20G内存，命令如下： python controlnet_infer.py --model_dir control_sd15_canny --scheduler "euler_ancestral" --backend paddle_tensorrt --device gpu --benchmark_steps 10 --use_fp16 True image

image

sanbuphy commented 1 year ago

我部署普通的文生图也遇到了这个情况，32G内存不够用，一直在拷贝然后增长到killed

我运行的是 python text_to_img_infer.py --model_dir stable-diffusion-v1-5/ --scheduler "euler_ancestral" --backend paddle_tensorrt --use_fp16 True --device gpu

我的版本是dev 最新 的paddle与fastdeploy