Closed balabala2023 closed 4 months ago
你好,对于第一个问题,是因为我在这个commit里进行过修改 https://github.com/Coobiw/MiniGPT4Qwen/commit/4ad76d15c79cec9b08e8f0f0da69732d0924a9db
简单来说就是我放出来的log里的loss是除过梯度积累的iteration数的(就是accum_grad_iters
,在yaml文件里是设置成16或者32),所以你看到的会差一个数量级,如果你使用的是这个commit之后的代码跑出这个结果是正常的
第二个问题的话,是因为事实上每隔accum_grad_iters
个iterations才会进行更新,所以这个log_freq
设置成50的话,其实会有点难看出来,你可以看每个epoch的下降情况,其实是稳定下降的。
或者:
你可以尝试在yaml文件的run
部分(https://github.com/Coobiw/MiniGPT4Qwen/blob/master/lavis/projects/instruction_tuning/train.yaml#66)加入log_freq
进行设置,设置成accum_grad_iters
的整数倍(比如:128),可能看起来会更好。
关于log_freq的设置,我在 https://github.com/Coobiw/MiniGPT4Qwen/commit/911fc6b72bb90e526e285658e9866474519a8003这个新的commit里有设置,你可以仿照,但看整个epoch的loss可能会更靠谱哈
好的,多谢哈,那如果llm切换成Qwen-14B是不是仅需要修改llm_model名称就可?我切换为14B,loss和7B的类似,但生成的效果差别非常大,基本上不可读;
我没有使用过Qwen-14B的模型,暂时想到你可以试着去修改、检查一下这三个地方:
solved
按照您的步骤进行复现,训练时发现loss下降很慢,此外训练完的train_loss相比您提供的也不是一个数量级(高一个数量级)