Closed jiezhangGt closed 6 months ago
when I trained on llama2,stage2,the loss is 0
{'loss': 1.4138, 'learning_rate': 6.006006006006006e-08, 'epoch': 0.0} {'loss': 1.4138, 'learning_rate': 6.006006006006006e-08, 'epoch': 0.0} {'loss': 0.0, 'learning_rate': 1.2012012012012013e-07, 'epoch': 0.0} {'loss': 0.0, 'learning_rate': 1.2012012012012013e-07, 'epoch': 0.0} {'loss': 0.0, 'learning_rate': 1.801801801801802e-07, 'epoch': 0.0} {'loss': 0.0, 'learning_rate': 1.801801801801802e-07, 'epoch': 0.0} {'loss': 0.0, 'learning_rate': 2.4024024024024026e-07, 'epoch': 0.0} {'loss': 0.0, 'learning_rate': 2.4024024024024026e-07, 'epoch': 0.0} {'loss': 0.0, 'learning_rate': 3.003003003003003e-07, 'epoch': 0.0} {'loss': 0.0, 'learning_rate': 3.003003003003003e-07, 'epoch': 0.0} {'loss': 0.0, 'learning_rate': 3.603603603603604e-07, 'epoch': 0.0} {'loss': 0.0, 'learning_rate': 3.603603603603604e-07, 'epoch': 0.0} {'loss': 0.0, 'learning_rate': 4.204204204204205e-07, 'epoch': 0.0} {'loss': 0.0, 'learning_rate': 4.204204204204205e-07, 'epoch': 0.0} {'loss': 0.0, 'learning_rate': 4.804804804804805e-07, 'epoch': 0.0} {'loss': 0.0, 'learning_rate': 4.804804804804805e-07, 'epoch': 0.0} {'loss': 0.0, 'learning_rate': 5.405405405405406e-07, 'epoch': 0.0} {'loss': 0.0, 'learning_rate': 5.405405405405406e-07, 'epoch': 0.0} {'loss': 0.0, 'learning_rate': 6.006006006006006e-07, 'epoch': 0.0} {'loss': 0.0, 'learning_rate': 6.006006006006006e-07, 'epoch': 0.0} {'loss': 0.0, 'learning_rate': 6.606606606606607e-07, 'epoch': 0.0}
nothing
when I trained on llama2,stage2,the loss is 0