Closed VirgilG72 closed 2 days ago
我是这方面的小白，想问一下以下几个问题： ①如果我想以lora微调的形式训练基座模型Qwen/Qwen2-7B，应该执行LLaMA-Factory的哪个微调命令？ ②训练完基座模型后，我想基于这个基座模型，以lora微调的形式训练对话模型Qwen/Qwen2-7B-Instruct，应该执行LLaMA-Factory的哪个微调命令？
我的思路是： ①先执行llamafactory-cli train examples/train_lora/llama3_lora_pretrain.yaml中的model_name_or_path改为Qwen/Qwen2-7B，输出路径为Qwen/Qwen2-7B-pretrained ②然后llamafactory-cli train examples/train_lora/llama3_lora_sft.yaml中的model_name_or_path改为Qwen/Qwen2-7B-pretrained 这样可行吗？
我是这方面的小白，想问一下以下几个问题： ①如果我想以lora微调的形式训练基座模型Qwen/Qwen2-7B，应该执行LLaMA-Factory的哪个微调命令？ ②训练完基座模型后，我想基于这个基座模型，以lora微调的形式训练对话模型Qwen/Qwen2-7B-Instruct，应该执行LLaMA-Factory的哪个微调命令？
我的思路是： ①先执行llamafactory-cli train examples/train_lora/llama3_lora_pretrain.yaml中的model_name_or_path改为Qwen/Qwen2-7B，输出路径为Qwen/Qwen2-7B-pretrained ②然后llamafactory-cli train examples/train_lora/llama3_lora_sft.yaml中的model_name_or_path改为Qwen/Qwen2-7B-pretrained 这样可行吗？