search

TinyLLaVA / TinyLLaVA_Factory

A Framework of Small-scale Large Multimodal Models
https://arxiv.org/abs/2402.14289
Apache License 2.0
661 stars 69 forks source link

基于qwen2-1.5B的训练 #135

Open riariam opened 1 week ago

riariam commented 1 week ago

请问在训练qwen2-1.5B时，需要做什么特殊处理吗？感谢🙏

YingHuTsing commented 1 week ago

1、首先请将tinyllava/training_recipe/base.py 这几行注释掉。 WechatIMG206 2、其次请将tinyllava/model/load_model.py这部分做上图改动，模型路径请替换成你自己finetune后的路径。 WechatIMG208 3、启动脚本请参照qwen2-0.5B的脚本。