Open zyzyyy123 opened 2 months ago
您好,请问关于混合微调阶段,预训练数据和指令微调数据放在一起训练,数据格式是怎么统一组织的呢?我理解预训练的数据格式是一段text,而指令微调有instruction和output
任务都是next token prediction,在数据组织的时候,label有所区分即可,指令数据值计算output的loss,其他部分可以设置为-100,从而用Cross Entropy函数可以自动忽略, 对于文本数据的话,就正常计算即可。
您好,请问关于混合微调阶段,预训练数据和指令微调数据放在一起训练,数据格式是怎么统一组织的呢?我理解预训练的数据格式是一段text,而指令微调有instruction和output