Open cc181209 opened 2 hours ago
嗯嗯,我使用的是Qwen-vl-chat,这个在训练和测试的脚本里面写了的
哦哦,恭喜你中了nips啊,我现在在复现代码,然后在qwen上指令微调的时候发现效果很差,请问训练和测试的脚本是有更改吗?这个qwen的textvqa的zero_shot为什么我跑出来这么低呀
你是用的Qwen-vl-chat吗?脚本没有改动啊?我就只是把我的路径什么的改动过。 而且,Zero-shot不是还没训练吗?其他数据集的测试效果有差距很大吗?
使用的是qwen-vl-chat啊,使用的也是你开源的指令微调数据集更改了训练集的格式,但是question和instruction都没变动,顺序微调到textvqa时候,测试效果很差只有20多。然后测试了一下zero_shot也只有20多. 你使用的是什么测试的呀。textvqa的val集不是5000个sample吗
我这个是只是随便截的结果,使用不同样本量的,恰好4000和5000的结果四舍五入是一样的。 那你微调ScienceQA的效果咋样喃?或者你直接Zero其他数据集的效果喃?
微调ScienceQA的跟论文差不多,就是训到TextVQA出入有点大只有22。后面就没继续训了。zero的imagenet:25.64。gqa:36.74,也有点出入。不会是我用的模型不对吧。 是这个qwen-vl-chat嘛?
是下载的这个checkpoint把?那应该不会有问题啊?LLaVA的结果正常吗?
llava正常的,头痛这个qwen哈哈
超参我改了一下下,不过应该没问题吧,epoch 1 ,batchsize动了一下,其他都是默认的设置
应该是没有影响的啊,你zero的效果又不受这些影响。 我看看你zero的script喃
我把模型加载时候的加载lora部分去掉了,不就是只加载basemodel了嘛
作者你好,我使用Qwen在textvqa上测zero_shot的结果很低,请问使用的是Qwen-vl-chat吗,还是什么其他的问题