search

PKU-YuanGroup / MoE-LLaVA

Mixture-of-Experts for Large Vision-Language Models
https://arxiv.org/abs/2401.15947
Apache License 2.0
1.9k stars 121 forks source link

[Question] 能解释一下llava_arch中的class LlavaQWenMetaForCausalLM(LlavaMetaForCausalLM)这个类吗 #74

Open 20191864218 opened 4 months ago

20191864218 commented 4 months ago

Question

各位大佬和作者，我不太清楚class LlavaQWenMetaForCausalLM(LlavaMetaForCausalLM)这个类中的一些细节，能简单解释一下吗，为什么要重新写这个类？ 非常感谢！