search

THUDM / CogVLM

a state-of-the-art-level open visual language model | 多模态预训练模型
Apache License 2.0
5.69k stars 390 forks source link

预训练阶段段loss下降后升高了，模型训崩了 #505

Open liuheng0111 opened 2 weeks ago

liuheng0111 commented 2 weeks ago

在第一个阶段使用laion-2B的caption训练数据，放开VIT，mlp projector，vision export训练，freeze大语言模型进行训练，训练过程中loss先慢慢下降，但后面升高了，升高之后发现模型训崩了，已排除了训练数据问题，learning rate也调小了都不行，请问是哪里的问题？ image

mactavish91 commented 2 weeks ago

lr设置的多少呢

liuheng0111 commented 2 weeks ago

lr设置的多少呢

lr设置的1e-5, 1e-6都是过，loss都是先下降后上升