qwen2-vl 的 pretrain 是否支持

modelscope / ms-swift

Use PEFT or Full-parameter to finetune 350+ LLMs or 100+ MLLMs. (LLM: Qwen2.5, Llama3.2, GLM4, Internlm2.5, Yi1.5, Mistral, Baichuan2, DeepSeek, Gemma2, ...; MLLM: Qwen2-VL, Qwen2-Audio, Llama3.2-Vision, Llava, InternVL2, MiniCPM-V-2.6, GLM4v, Xcomposer2.5, Yi-VL, DeepSeek-VL, Phi3.5-Vision, ...)

https://swift.readthedocs.io/zh-cn/latest/Instruction/index.html

Apache License 2.0

3.8k stars 325 forks source link

qwen2-vl 的 pretrain 是否支持 #2222

Open Wangman1 opened 1 day ago

Wangman1 commented 1 day ago

您好，请问目前是否支持 qwen2-vl 的 pretrain

Jintao-Huang commented 1 day ago

支持的

数据集：

{"response": "<image>123456", "images": ["1.png"]}

Wangman1 commented 1 day ago

好嘞，感谢您的回复，训练启动命令有可以参考的吗，相关介绍中好像没有找到pretrain的信息

Jintao-Huang commented 1 day ago

swift pt, 只是默认超参数有些不同, 使用的main函数和sft是相同

Wangman1 commented 1 day ago

好嘞，非常感谢您的回复~~