微调问题，微调后模型遗忘

THUDM / VisualGLM-6B

Chinese and English multimodal conversational language model | 多模态中英双语对话语言模型

Apache License 2.0

4.05k stars 414 forks source link

Open sungatetop opened 6 months ago

sungatetop commented 6 months ago

根据fewshotdata制作了数据集，用于微调，图片的文本描述，都是“图像里是什么”，微调后模型回答对于与微调使用的数据集中不同类型的图像，模型失去了微调前的能力？回答的内容都是围绕微调数据的文本内容，这个要怎么解决？把finetune之前的数据也加入微调吗？