Open heiheiwangergou opened 1 year ago
是我参数哪里设置的不对嘛,a100单卡,14000条qa数据 下面是训练参数
'max_seq_length': 1024, # 如果资源充足,推荐长度2048 与官方保持一致 'max_target_length': 100, # 预测最大长度, 保留字段
这两个参数会影响结果嘛
+1
是全量微调,还是lora训练?
+1 尝试了全量微调、lora训练都试过了,都有灾难性遗忘的情况,灾难性遗忘的情况lora稍强一点,但两种训练方式的拟合效果都不好 训练数据只有300条,epoch: 1, max_seq_length: 2048,其他超参基本没动
@ssbuild
同问
是我参数哪里设置的不对嘛,a100单卡,14000条qa数据 下面是训练参数
这两个参数会影响结果嘛