search

Ucas-HaoranWei / Vary-toy

Official code implementation of Vary-toy (Small Language Model Meets with Reinforced Vision Vocabulary)
565 stars 41 forks source link

有什么办法把llm部分切换到hf上的qwen2吗？ #25

Open shifan3 opened 4 months ago

shifan3 commented 4 months ago

如果要用hf的qwen2，应该参照vary_opt修改还是参照vary_toy_qwen1_8修改呢？ 以及，如何使用其他的llm模型，例如llama2

Gary-code commented 4 months ago

我觉得这份代码非常不好修改LLM模型，由于作者是继承了QWenModel来写的，并没有明确定义language_model这个模块，导致如果修改了LLM的话预训练的vision_tower等参数非常难导入。