微调Loss为0 - Githubissues

Richard12868 commented 2 days ago

System Info / 系統信息

配置信息完全默认，数据也是原始的，loss一直为0 {"messages": [{"role": "user", "content": "类型#裤材质#牛仔布风格#性感"}, {"role": "assistant", "content": "3x1的这款牛仔裤采用浅白的牛仔面料为裤身材质，其柔然的手感和细腻的质地，在穿着舒适的同时，透露着清纯甜美的个性气质。除此之外，流畅的裤身剪裁将性感的腿部曲线彰显的淋漓尽致，不失为一款随性出街的必备单品。"}]}

Who can help? / 谁可以帮助到您？

@zRzRzRzRzRzRzR

Information / 问题信息

[X] The official example scripts / 官方的示例脚本
[ ] My own modified scripts / 我自己修改的脚本和任务

Reproduction / 复现过程

这是记录 Running training Num examples = 1,010 Num Epochs = 24 Instantaneous batch size per device = 1 Total train batch size (w. parallel, distributed & accumulation) = 8 Gradient Accumulation steps = 1 Total optimization steps = 3,000 Number of trainable parameters = 2,785,280 {'loss': 0.0, 'grad_norm': 0.0, 'learning_rate': 0.0004996666666666667, 'epoch': 0.02} {'loss': 0.0, 'grad_norm': 0.0, 'learning_rate': 0.0004993333333333334, 'epoch': 0.03} {'loss': 0.0, 'grad_norm': 0.0, 'learning_rate': 0.000499, 'epoch': 0.05} {'loss': 0.0, 'grad_norm': 0.0, 'learning_rate': 0.0004986666666666667, 'epoch': 0.06} {'loss': 0.0, 'grad_norm': 0.0, 'learning_rate': 0.0004983333333333334, 'epoch': 0.08} {'loss': 0.0, 'grad_norm': 0.0, 'learning_rate': 0.000498, 'epoch': 0.09} {'loss': 0.0, 'grad_norm': 0.0, 'learning_rate': 0.0004976666666666667, 'epoch': 0.11} {'loss': 0.0, 'grad_norm': 0.0, 'learning_rate': 0.0004973333333333334, 'epoch': 0.13} {'loss': 0.0, 'grad_norm': 0.0, 'learning_rate': 0.000497, 'epoch': 0.14}

在代码训练部分加了loss的日志，发现输出为nan

class Seq2SeqTrainer: def training_step(self, model, inputs): loss = self.compute_loss(model, inputs) logging.basicConfig(filename='training_loss.log', level=logging.INFO) logging.info(f'Training loss: {loss.item()}')