Open murray-z opened 6 months ago
如何基于MoE模型,在自己的数据上进一步微调呢?
同问
可以复用train.py,然后把比如MoELLaVAStablelmForCausalLM替换成EvalMoELLaVAStablelmForCausalLM,后面就不用initialize_moe_modules()了;然后根据需要来requires_grad_()
MoELLaVAStablelmForCausalLM
EvalMoELLaVAStablelmForCausalLM
initialize_moe_modules()
requires_grad_()
Question
如何基于MoE模型,在自己的数据上进一步微调呢?