Open devillaws opened 3 months ago
【正确】在微调llama3-70B的时候,可以双卡微调,两张A800-80G足够。 【错误】但进行merge合并时,无法多卡合并,只能单卡合并,因此显存不足,执行NPROC_PER_NODE=2 xtuner convert merge跟CUDA_VISIBLE_DEVICES=0,1 xtuner convert merge均会报错。 【错误图片】 【显存图片】
【正确】在微调llama3-70B的时候,可以双卡微调,两张A800-80G足够。 【错误】但进行merge合并时,无法多卡合并,只能单卡合并,因此显存不足,执行NPROC_PER_NODE=2 xtuner convert merge跟CUDA_VISIBLE_DEVICES=0,1 xtuner convert merge均会报错。 【错误图片】 【显存图片】