search

OpenBMB / MiniCPM-V

MiniCPM-V 2.6: A GPT-4V Level MLLM for Single Image, Multi Image and Video on Your Phone
Apache License 2.0
12.76k stars 894 forks source link

我在做垂直领域应用，想先让模型通过预训练学一些文档材料，再进行图文对话微调，这个怎么操作？ #528

Closed zpge closed 2 months ago

zpge commented 3 months ago

RT

LDLINGLINGLING commented 3 months ago

你好，那你可以考虑先对qwen做纯文本训练，然后进行图文对训练

SirLPS commented 1 month ago

考虑先对qwen做纯文本训练，然后进行图文对训练 图文预训练可行吗？例如图文对直接在vlm上做预训练，然后再用图文对在vlm上做instruct sft