Closed hy010227 closed 5 months ago
您好！我今天用mathqa上训练完之后，想再在scienceqa上进行训练，运行的是mola_training.py这个文件，但是因为想用openorca训练好的mola_weights上再进行scienceqa训练，因此我将原本的代码： model = LlamaForCausalLM_d.from_pretrained( base_model, config=config, load_in_8bit=False, torch_dtype=torch.float16, device_map=device_map, ) 改为了 model = LlamaForCausalLM_d.from_pretrained( base_model, config=config, load_in_8bit=False, torch_dtype=torch.float16, device_map="auto", ) model = PeftModel.from_pretrained( model, './meta_moe_llm2_3ep_2468_mathqa', torch_dtype=torch.float16, number_experts=number_experts, top_k=top_k, ) 但是这样的方法似乎不太对，没办法进一步训练。 所以可以告诉我，您这边是怎么在openorca上训练完之后，再在scienceqa上训练的吗？相应的code应该修改那一部分？谢谢！！！
您好！我今天用mathqa上训练完之后，想再在scienceqa上进行训练，运行的是mola_training.py这个文件，但是因为想用openorca训练好的mola_weights上再进行scienceqa训练，因此我将原本的代码： model = LlamaForCausalLM_d.from_pretrained( base_model, config=config, load_in_8bit=False, torch_dtype=torch.float16, device_map=device_map, ) 改为了 model = LlamaForCausalLM_d.from_pretrained( base_model, config=config, load_in_8bit=False, torch_dtype=torch.float16, device_map="auto", ) model = PeftModel.from_pretrained( model, './meta_moe_llm2_3ep_2468_mathqa', torch_dtype=torch.float16, number_experts=number_experts, top_k=top_k, ) 但是这样的方法似乎不太对，没办法进一步训练。 所以可以告诉我，您这边是怎么在openorca上训练完之后，再在scienceqa上训练的吗？相应的code应该修改那一部分？谢谢！！！