dvlab-research / MGM

Official repo for "Mini-Gemini: Mining the Potential of Multi-modality Vision Language Models"
Apache License 2.0
3.21k stars 278 forks source link

stage2 loss is 0 #98

Closed jiezhangGt closed 6 months ago

jiezhangGt commented 6 months ago

when I trained on llama2,stage2,the loss is 0

{'loss': 1.4138, 'learning_rate': 6.006006006006006e-08, 'epoch': 0.0}
{'loss': 1.4138, 'learning_rate': 6.006006006006006e-08, 'epoch': 0.0}
{'loss': 0.0, 'learning_rate': 1.2012012012012013e-07, 'epoch': 0.0}
{'loss': 0.0, 'learning_rate': 1.2012012012012013e-07, 'epoch': 0.0}
{'loss': 0.0, 'learning_rate': 1.801801801801802e-07, 'epoch': 0.0}
{'loss': 0.0, 'learning_rate': 1.801801801801802e-07, 'epoch': 0.0}
{'loss': 0.0, 'learning_rate': 2.4024024024024026e-07, 'epoch': 0.0}
{'loss': 0.0, 'learning_rate': 2.4024024024024026e-07, 'epoch': 0.0}
{'loss': 0.0, 'learning_rate': 3.003003003003003e-07, 'epoch': 0.0}
{'loss': 0.0, 'learning_rate': 3.003003003003003e-07, 'epoch': 0.0}
{'loss': 0.0, 'learning_rate': 3.603603603603604e-07, 'epoch': 0.0}
{'loss': 0.0, 'learning_rate': 3.603603603603604e-07, 'epoch': 0.0}
{'loss': 0.0, 'learning_rate': 4.204204204204205e-07, 'epoch': 0.0}
{'loss': 0.0, 'learning_rate': 4.204204204204205e-07, 'epoch': 0.0}
{'loss': 0.0, 'learning_rate': 4.804804804804805e-07, 'epoch': 0.0}
{'loss': 0.0, 'learning_rate': 4.804804804804805e-07, 'epoch': 0.0}
{'loss': 0.0, 'learning_rate': 5.405405405405406e-07, 'epoch': 0.0}
{'loss': 0.0, 'learning_rate': 5.405405405405406e-07, 'epoch': 0.0}
{'loss': 0.0, 'learning_rate': 6.006006006006006e-07, 'epoch': 0.0}
{'loss': 0.0, 'learning_rate': 6.006006006006006e-07, 'epoch': 0.0}
{'loss': 0.0, 'learning_rate': 6.606606606606607e-07, 'epoch': 0.0}
jiezhangGt commented 6 months ago

nothing