Open BigaGrayWolf opened 1 year ago
dataset_sft.py中的第50行 loss_mask=np.array(loss_mask[:-1]) 个人觉得应该改为 loss_mask=np.array(loss_mask[1:]) 和Y的切片一致,因为最后算Loss的时候,是将Y的值和模型的输出进行比较。
这个问题我在写的时候也有思考过,但是根据我写的那个逻辑,好像没啥问题,可以具体打出来看下是不是符合预期。
个人认为应该和X的切片一致。Y是标签,是X的标签,计算loss的时候,mask应该指明输入中哪些位置不参与计算,所以是和X切片一致。
dataset_sft.py中的第50行 loss_mask=np.array(loss_mask[:-1]) 个人觉得应该改为 loss_mask=np.array(loss_mask[1:]) 和Y的切片一致,因为最后算Loss的时候,是将Y的值和模型的输出进行比较。