search

Ucas-HaoranWei / Vary

[ECCV2024] Official code implementation of Vary: Scaling Up the Vision Vocabulary of Large Vision Language Models.
1.65k stars 150 forks source link

纯文本指令数据 和 多模态指令数据混在一起finetune #120

Open wuhaowuhao opened 1 week ago

wuhaowuhao commented 1 week ago

发现单独多模态数据 或者 纯文本数据fintune就不会有问题

但如果混合纯文本指令数据和多模态指令数据一起训练，会卡住。 请问怎么解决？