Duxiaoman-DI / XuanYuan

轩辕:度小满中文金融对话大模型
1.07k stars 97 forks source link

关于混合微调的数据格式 #37

Open zyzyyy123 opened 2 months ago

zyzyyy123 commented 2 months ago

您好,请问关于混合微调阶段,预训练数据和指令微调数据放在一起训练,数据格式是怎么统一组织的呢?我理解预训练的数据格式是一段text,而指令微调有instruction和output

ShomyLiu commented 1 month ago

任务都是next token prediction,在数据组织的时候,label有所区分即可,指令数据值计算output的loss,其他部分可以设置为-100,从而用Cross Entropy函数可以自动忽略, 对于文本数据的话,就正常计算即可。