search

PKU-YuanGroup / MoE-LLaVA

Mixture-of-Experts for Large Vision-Language Models
https://arxiv.org/abs/2401.15947
Apache License 2.0
1.9k stars 121 forks source link

[Question] 如何基于MoE模型，在自己的数据上进一步微调呢？ #56

Open murray-z opened 6 months ago

murray-z commented 6 months ago

Question

如何基于MoE模型，在自己的数据上进一步微调呢？

Tunanzzz commented 5 months ago

同问

AngelAlita commented 5 months ago

同问

CharlieFRuan commented 4 months ago

可以复用train.py，然后把比如MoELLaVAStablelmForCausalLM替换成EvalMoELLaVAStablelmForCausalLM，后面就不用initialize_moe_modules()了；然后根据需要来requires_grad_()