关于用vllm加速baichuan2的问题

LlamaFamily / Llama-Chinese

Llama中文社区，Llama3在线体验和微调模型已开放，实时汇总最新Llama3学习资料，已将所有代码更新适配Llama3，构建最好的中文Llama大模型，完全开源可商用

https://llama.family

14.01k stars 1.26k forks source link

Open venxzw opened 1 year ago

venxzw commented 1 year ago

请问各位大佬，我在用该框架中的vllm加速baichuan2-13b时，按照步骤来创建了vllm的环境和依赖，运行后一直卡在这很久，但显存又在慢慢增加，是怎么回事呢？