如何微调使Qwen-VL可以做图文检索任务呢？

QwenLM / Qwen-VL

The official repo of Qwen-VL (通义千问-VL) chat & pretrained large vision language model proposed by Alibaba Cloud.

Other

4.88k stars 373 forks source link

Open MayCloud052 opened 5 months ago

MayCloud052 commented 5 months ago

如果已有图文对的数据集，该怎么定义微调数据集使Qwen-VL可以做图文检索任务？

GuiQuQu commented 4 months ago

感觉完全是舍近求远啊，为啥不用clip做,用这种生成式的模型你可能需要的是要求模型给你排序