mymusise / ChatGLM-Tuning

基于ChatGLM-6B + LoRA的Fintune方案
MIT License
3.71k stars 443 forks source link

请问在训练过程中输出的日志中loss、learning_rate和epoch分别代表什么含义 #271

Open juiceSea opened 5 months ago

juiceSea commented 5 months ago

{'loss': 1.141, 'learning_rate': 8.366666666666668e-05, 'epoch': 50.0}
{'loss': 0.0003, 'learning_rate': 6.7e-05, 'epoch': 100.0}
{'loss': 0.0001, 'learning_rate': 5.0333333333333335e-05, 'epoch': 150.0}
{'loss': 0.0001, 'learning_rate': 3.366666666666667e-05, 'epoch': 200.0}
{'loss': 0.0001, 'learning_rate': 1.7000000000000003e-05, 'epoch': 250.0}
{'loss': 0.0001, 'learning_rate': 3.3333333333333335e-07, 'epoch': 300.0} 我在训练过程中发现loss在下降,是否表示这是模型回答的错误率? 在epoch达到150周loss没有变化了,是否表示训练轮次达到150之后再训练便没有意义了?