本地只有4张4090显卡是否可以使用LoRA训练LLama 3.1 8b的模型

PaddlePaddle / PaddleSlim

PaddleSlim is an open-source library for deep model compression and architecture search.

Apache License 2.0

1.56k stars 345 forks source link

Open yaphet266 opened 1 month ago

yaphet266 commented 1 month ago

我现在只有4张4090显卡，单卡显存24G，总显存只有96G，是否可以训练LLama 3.1 8b的模型，我现在按照官网文档无法运行成功，请问如何调整参数可以在比较少显存的情况下进行训练