Open zjwlgr opened 1 year ago
我使用的是开源中 finetune.py 进行训练,硬件配置:CPU:32核 ,内存:64G,GPU: T4 16G * 1 model_path 为 llama-7b-hf # 70亿参数上游模型 data_path 为 100w.json # 100万个问答数据 格式:{"instruction": "", "input": "", "output": ""}
其它参数: MICRO_BATCH_SIZE = 16 BATCH_SIZE = 128 MAX_STEPS = None GRADIENT_ACCUMULATION_STEPS = BATCH_SIZE // MICRO_BATCH_SIZE EPOCHS = 3 LEARNING_RATE = 3e-4 CUTOFF_LEN = 512 LORA_R = 8 LORA_ALPHA = 16 LORA_DROPOUT = 0.05 VAL_SET_SIZE = args.test_size #2000 TARGET_MODULES = [ "q_proj", "v_proj", ]
微调输出: 4%|████▍ | 938/26412
通过计算需要微调48天左右,这个时间是正常的吗?,有没有什么方法可以使 微调 提速?
时间可能没问题,readme里写了参考时间是3张2080,70w的数据大概70h,然后你CUTOFF_LEN 设置的大一点,这个速度上基本是平方级别的增长
我使用的是开源中 finetune.py 进行训练,硬件配置:CPU:32核 ,内存:64G,GPU: T4 16G * 1 model_path 为 llama-7b-hf # 70亿参数上游模型 data_path 为 100w.json # 100万个问答数据 格式:{"instruction": "", "input": "", "output": ""}
其它参数: MICRO_BATCH_SIZE = 16 BATCH_SIZE = 128 MAX_STEPS = None GRADIENT_ACCUMULATION_STEPS = BATCH_SIZE // MICRO_BATCH_SIZE EPOCHS = 3 LEARNING_RATE = 3e-4
CUTOFF_LEN = 512 LORA_R = 8 LORA_ALPHA = 16 LORA_DROPOUT = 0.05 VAL_SET_SIZE = args.test_size #2000 TARGET_MODULES = [ "q_proj", "v_proj", ]
微调输出: 4%|████▍ | 938/26412
通过计算需要微调48天左右,这个时间是正常的吗?,有没有什么方法可以使 微调 提速?