search

TencentARC / LLaMA-Pro

[ACL 2024] Progressive LLaMA with Block Expansion.
https://tencentarc.github.io/LLaMA-Pro/
Apache License 2.0
449 stars 34 forks source link

请教下训练的显存需求 #20

Open denghj3 opened 4 months ago

denghj3 commented 4 months ago

想请教下，llama-pro训练的显存需求是多少，和lora比要多多少

hills-code commented 4 months ago

这取决于您添加的层数，以及训练的设置，根据我的经验8卡A100-40G是能够支持ctx-length=4096的预训练的，我试过将LoRA的rank调大到1024，使得lora和我们可训练的参数量相近，此时显存占用也是差不多的

denghj3 commented 4 months ago

这取决于您添加的层数，以及训练的设置，根据我的经验8卡A100-40G是能够支持ctx-length=4096的预训练的，我试过将LoRA的rank调大到1024，使得lora和我们可训练的参数量相近，此时显存占用也是差不多的

噢我理解是llama-pro在预训练时仅需调整新加的block，所以应该远小于全参数训练所需的显存？

hills-code commented 4 months ago

是的，但是如果新增加的要训练的层很多，同样也会带来很大的显存占用，并且训练的时候其实原有模型的参数也需要load进去，尽管不需要微调

denghj3 commented 4 months ago

是的，但是如果新增加的要训练的层很多，同样也会带来很大的显存占用，并且训练的时候其实原有模型的参数也需要load进去，尽管不需要微调

噢噢。感谢回答！~