Open Wuyingwen opened 1 month ago
在训练代码 train.py 开始训练前打印训练参数,其中包含下列项: transformer.mm_projector.image_spatial_proj.0.weight transformer.mm_projector.image_spatial_proj.0.bias transformer.mm_projector.image_spatial_proj.2.weight transformer.mm_projector.image_spatial_proj.2.bias
Question
MoE 第三阶段在示意图中画的是 projector(MLP) 不训练,但是实际代码中 QWen-Stage2 的预训练模型的 freeze_mm_mlp_adapter=False,也就是说第三阶段 mm_projector 的参数也会更新。请问这个冲突如何解释?