Qwen zero shot

[cc181209]

作者你好，我使用Qwen在textvqa上测zero_shot的结果很低，请问使用的是Qwen-vl-chat吗，还是什么其他的问题

[zackschen]

嗯嗯，我使用的是Qwen-vl-chat，这个在训练和测试的脚本里面写了的

[cc181209]

哦哦，恭喜你中了nips啊，我现在在复现代码，然后在qwen上指令微调的时候发现效果很差，请问训练和测试的脚本是有更改吗？这个qwen的textvqa的zero_shot为什么我跑出来这么低呀

[zackschen]

你是用的Qwen-vl-chat吗？脚本没有改动啊？我就只是把我的路径什么的改动过。 而且，Zero-shot不是还没训练吗？其他数据集的测试效果有差距很大吗？

[cc181209]

使用的是qwen-vl-chat啊，使用的也是你开源的指令微调数据集更改了训练集的格式，但是question和instruction都没变动，顺序微调到textvqa时候，测试效果很差只有20多。然后测试了一下zero_shot也只有20多. 你使用的是什么测试的呀。textvqa的val集不是5000个sample吗

[zackschen]

我这个是只是随便截的结果，使用不同样本量的，恰好4000和5000的结果四舍五入是一样的。 那你微调ScienceQA的效果咋样喃？或者你直接Zero其他数据集的效果喃？

[cc181209]

微调ScienceQA的跟论文差不多，就是训到TextVQA出入有点大只有22。后面就没继续训了。zero的imagenet：25.64。gqa：36.74，也有点出入。不会是我用的模型不对吧。 是这个qwen-vl-chat嘛？

[zackschen]

是下载的这个checkpoint把？那应该不会有问题啊？LLaVA的结果正常吗？

[cc181209]

llava正常的，头痛这个qwen哈哈

[cc181209]

超参我改了一下下，不过应该没问题吧，epoch 1 ，batchsize动了一下，其他都是默认的设置

[zackschen]

应该是没有影响的啊，你zero的效果又不受这些影响。 我看看你zero的script喃

[cc181209]

我把模型加载时候的加载lora部分去掉了，不就是只加载basemodel了嘛