请教一个问题，在做指令问题的时候，验证集上计算损失和训练集是否一致

RUCAIBox / LLMSurvey

The official GitHub page for the survey paper "A Survey of Large Language Models".

https://arxiv.org/abs/2303.18223

10.13k stars 798 forks source link

Closed dazhaxie0526 closed 1 year ago

dazhaxie0526 commented 1 year ago

基于基座模型比如LLaMA系列进行指令微调，训练的损失函数是什么？在验证集上计算损失跟训练集上是否一致，谢谢！

EliverQ commented 1 year ago

训练的损失函数需要看指令微调的具体任务，一般来说可能会是通用的自回归模型损失（交叉熵）；在验证集上计算损失一般会比训练集大一些

dazhaxie0526 commented 1 year ago

训练的损失函数需要看指令微调的具体任务，一般来说可能会是通用的自回归模型损失（交叉熵）；在验证集上计算损失一般会比训练集大一些

好的，收到，多谢多谢