search

THUDM / ChatGLM3

ChatGLM3 series: Open Bilingual Chat LLMs | 开源双语对话语言模型
Apache License 2.0
13.31k stars 1.55k forks source link

关于微调多轮对话生成的loss_mask格式问题 #1213

Closed RyanOvO closed 3 months ago

RyanOvO commented 3 months ago

ChatGLM3的多轮对话微调格式： [gMASK]sop <|system|>xxx<|user|>xxx<|assistant|>xxx<|user|>xxx<|assistant|>xxx<|user|>xxx<|assistant|>xxx 所对应的loss_mask，只有<|assistant|>后的内容为true，其余的为false，即 image

请问是这样的结构么？标黄的部分参与loss计算，一条这样的数据为一个conversations；最后以eos结尾。

lilongxian commented 3 months ago

简单介绍一下， 1.对所有回复句计算训练损失，有利于更好对用户所有问句的连贯性逻辑理解更充分，是多轮对话中最好的mask学习机制。比只mask当前回复句更有效。

  1. 尖括号的eos作停止符用