LZHgrla
commented
9 months ago -
2个GPU训练，单机通常使用分布式训练（DIST）即可，即
NPROC_PER_NODE=2 xtuner train XXXXX# On multiple GPUs (DIST) NPROC_PER_NODE=${GPU_NUM} xtuner train internlm2_chat_7b_qlora_oasst1_e3 --deepspeed deepspeed_zero2 (SLURM) srun ${SRUN_ARGS} xtuner train internlm2_chat_7b_qlora_oasst1_e3 --launcher slurm --deepspeed deepspeed_zero2 -
增大 batchsize 后，速度并没有显著增加，可能是因为多条数据放到一个 mini-batch 后，存在很多 padding token 浪费计算资源。两种解决办法：
- 使用
pack_to_max_length=True，以避免 padding token。 https://github.com/InternLM/xtuner/blob/60fabeb2ba3fb552b8f2e2925353b328068434e5/xtuner/configs/internlm/internlm2_chat_7b/internlm2_chat_7b_qlora_oasst1_e3.py#L30 -
使用
xtuner.dataset.samplers.LengthGroupedSampler替换默认的DefaultSampler，以此减少 padding token。即使用以下代码替换-from mmengine.dataset import DefaultSampler +from xtuner.dataset.samplers import LengthGroupedSampler train_dataloader = dict( batch_size=batch_size, num_workers=dataloader_num_workers, dataset=train_dataset, - sampler=dict(type=DefaultSampler, shuffle=True), + sampler=dict( + type=LengthGroupedSampler, + length_property='length', + per_device_batch_size=batch_size * accumulative_counts), collate_fn=dict(type=default_collate_fn)) train_dataloader = dict( batch_size=batch_size, num_workers=dataloader_num_workers, dataset=llava_dataset, collate_fn=dict(type=default_collate_fn))
注意，上述两种方法选择任意一种即可，两种重叠使用不会带来任何益处
- 使用
zhanghui-china
现在无论怎么改py样例文件，微调的时候只能用到1个gpu 如： 把 internlm2_chat_7b_qlora_oasst1_e3_copy.py 的 batch_size 为1的时候，执行：xtuner train ./internlm2_chat_7b_qlora_oasst1_e3_copy.py --deepspeed deepspeed_zero2
GPU 17G
batch_size 为2
GPU 20G
batch_size 为3
GPU23G
虽然一个GPU接近占满，但是另一个GPU一直没用。
请问应该如何微调的时候让2个gpu显存都占满。
另外，batch_size改为2，3之后，貌似整体微调时间预估并没有明显变化。 请问如何可以大幅降低微调时间？