search

InternLM / InternLM-XComposer

InternLM-XComposer2 is a groundbreaking vision-language large model (VLLM) excelling in free-form text-image composition and comprehension.
1.91k stars 120 forks source link

全参数微调需要显存？以及多卡模型分布的问题。 #314

Open hekaijie123 opened 1 month ago

hekaijie123 commented 1 month ago

你好。我有两张A100 (40G)显存。

  1. 但是我运行全参数微调时batchsize=1也会超显存，全参数微调需要单张卡的显存多少？有没有办法将模型分不到两张卡上做训练？
  2. 我想做某个领域知识的预训练，全参数微调是否可行，需要多少量级的数据。如果全参数微调不可行，那么是否可以多阶段lora微调？
hekaijie123 commented 1 month ago

@myownskyW7 @LightDXY @lvhan028