Open mechigonft opened 8 months ago
很惊艳的工作! 针对模型合并LM_Cocktail想请教几个问题: 1、针对embedding模型,如果我有2个垂域场景,那单独针对2个场景分别微调2个模型,再使用LM_Cocktail合并,还是,将2个垂域场景的训练数据先合并在一起,微调一个模型,这两种做法有什么差异?各自有什么优缺点呢?LM_Cocktail核心解决了什么问题,模型合并比数据合并再微调的方式有什么优势? 2、关于你们在介绍中说的,LM_Cocktail合并后的模型可以保持在垂域上的训练效果,而不丢失其他领域的通用效果,那我理解应该会降低垂域的效果吧,比如model1(基于垂域数据微调,垂域准确率60%),model2(裸模型,未微调,垂域准确率20%)那合并后,合并的模型的垂域效果将会<60%,甚至有可能跌到40%,那这个合并的意义在哪呢?牺牲垂域效果,换取通用效果?
很惊艳的工作! 针对模型合并LM_Cocktail想请教几个问题: 1、针对embedding模型,如果我有2个垂域场景,那单独针对2个场景分别微调2个模型,再使用LM_Cocktail合并,还是,将2个垂域场景的训练数据先合并在一起,微调一个模型,这两种做法有什么差异?各自有什么优缺点呢?LM_Cocktail核心解决了什么问题,模型合并比数据合并再微调的方式有什么优势? 2、关于你们在介绍中说的,LM_Cocktail合并后的模型可以保持在垂域上的训练效果,而不丢失其他领域的通用效果,那我理解应该会降低垂域的效果吧,比如model1(基于垂域数据微调,垂域准确率60%),model2(裸模型,未微调,垂域准确率20%)那合并后,合并的模型的垂域效果将会<60%,甚至有可能跌到40%,那这个合并的意义在哪呢?牺牲垂域效果,换取通用效果?