WizardMath-7b和WizardLM-7b模型合并问题

[sasgkhgw]

因为两者的基座模型不同，wizardlm-7b（llama-7b），wizardmath-7b（llama-2-7b），想知道在合并时，是怎么处理的，例如base model该选择为llama-2-7b还是llama-7b？ 还是说只使用了7b模型用于验证▽W的冗余，暂时没有进行merge实验。

[yule-BUAA]

你好。 当前的7B模型只用于验证了delta参数的冗余性，由于论文中使用的7B模型的backbone不同，故没有进行7B模型的merge实验。

[sasgkhgw]

好的，非常感谢！

[GarminQ]

作者你好，是否可以合并WizardMath-7B-V1.0和WizardCoder-Python-7B-V1.0呢？ "WizardMath-7B-V1.0": "Llama-2-7b-hf", "WizardCoder-Python-7B-V1.0": "Llama-2-7b-hf",