Open DENGBOYU-REX opened 1 month ago
VQA数据样本标签是什么样的,是否跟readme dataformat一致。 预训练模型用的Qwen-VL-chat还是?
VQA数据样本标签是什么样的,是否跟readme dataformat一致。 预训练模型用的Qwen-VL-chat还是?
数据格式类似这样的,是一个医学的VQA数据集,模型Qwen-VL-Chat 和 量化版本都试过,普遍都存在这个loss在训练集无法下降的问题
这个loss一直在波动
I am using Lora to finetune Qwen-VL model, there are about 10,000 VQA data samples I used for finetuning, but the loss of final model is still high, I set train epoch == 3, did I need to increase the data size or epoch? Is there any trick to fintune the model? Thanks!!!
我正在使用Lora来微调Qwen-VL模型,我使用了大约10,000个VQA数据样本进行微调,但最终模型的损失仍然很高。我将训练轮数设置为3,我是否需要增加数据量或轮数?有没有微调模型的技巧?谢谢!
你好,请问您目前有解决方案了么
有个问题想请教各位大佬,根据finetune.py进行lora微调,这算是指令微调还是有监督精调啊,最近一直在纠结这个问题。
有个问题想请教各位大佬,根据finetune.py进行lora微调,这算是指令微调还是有监督精调啊,最近一直在纠结这个问题。
属于SFT(Supervised Fine-Tuning)监督微调
有个问题想请教各位大佬,根据finetune.py进行lora微调,这算是指令微调还是有监督精调啊,最近一直在纠结这个问题。
属于SFT(Supervised Fine-Tuning)监督微调
感谢大佬解答,那我理解:是不是官方提供的finetune.py无论是全参数微调和lora,q-lora都是SFT?那请问怎么进行指令微调呢,有没有可以借鉴的代码或项目,因为我看似乎官方并没有提供指令微调的代码。
lora和Qlora确实都是SFT,至于指令微调目前还没有查到信息,如果有消息记得共享哦谢谢
lora和Qlora确实都是SFT,至于指令微调目前还没有查到信息,如果有消息记得共享哦谢谢 谢谢您的解答!
I am using Lora to finetune Qwen-VL model, there are about 10,000 VQA data samples I used for finetuning, but the loss of final model is still high, I set train epoch == 3, did I need to increase the data size or epoch? Is there any trick to fintune the model? Thanks!!!
我正在使用Lora来微调Qwen-VL模型,我使用了大约10,000个VQA数据样本进行微调,但最终模型的损失仍然很高。我将训练轮数设置为3,我是否需要增加数据量或轮数?有没有微调模型的技巧?谢谢!