不是很理解为啥微调mvtec数据的时候还需要同时训练pandagpt4_visual_instruction_data？

[plshuaishuai2]

pandagpt4_visual_instruction_data不是用来训练pandagpt4的么，这个模型应该只需要微调下游异常检测数据吧？为啥代码里面同时还训练pandagpt4_visual_instruction_data？

[FantasticGNU]

这是为了防止微调的时候大模型发生灾难性遗忘，失去其在大规模预训练数据上获得的知识。只使用下游异常检测数据容易过拟合。