我使用7B参数的上游模型 + 100万个问答数据集做微调，时间需要48天，如何能加快

[zjwlgr]

我使用的是开源中 finetune.py 进行训练，硬件配置：CPU：32核 ，内存：64G，GPU： T4 16G * 1 model_path 为 llama-7b-hf # 70亿参数上游模型 data_path 为 100w.json # 100万个问答数据 格式：{"instruction": "", "input": "", "output": ""}

其它参数： MICRO_BATCH_SIZE = 16 BATCH_SIZE = 128 MAX_STEPS = None GRADIENT_ACCUMULATION_STEPS = BATCH_SIZE // MICRO_BATCH_SIZE EPOCHS = 3 LEARNING_RATE = 3e-4
CUTOFF_LEN = 512 LORA_R = 8 LORA_ALPHA = 16 LORA_DROPOUT = 0.05 VAL_SET_SIZE = args.test_size #2000 TARGET_MODULES = [ "q_proj", "v_proj", ]

微调输出： 4%|████▍ | 938/26412

通过计算需要微调48天左右，这个时间是正常的吗？，有没有什么方法可以使 微调 提速？

[Facico]

时间可能没问题，readme里写了参考时间是3张2080,70w的数据大概70h，然后你CUTOFF_LEN 设置的大一点，这个速度上基本是平方级别的增长