Open GOOD-N-LCM opened 1 month ago
感谢大佬回答。 请问 第一个问题:如果我想pt的话,还可以使用finetune_codealpaca.sh执行么?如果可以,这个脚本貌似我没看到可以选择pt或者sft的参数位置额。请大佬赐教。 第二个问题:冻结原模型块的代码是在customized_trainer.py里实现的么?
选择pt或者sft的参数的位置都在customized_trainer.py实现的,可以通过script里面的extend_layers来传新增加的layers,然后训练那部分参数
好的,感谢大佬!
感谢分享!新的训练思路! 在这里我一个小白想提出几个我的疑问。期待大佬的解答! 我在使用block_expansion.py给Llama3-Chinese_v2扩展后会在指定目录出现一个pytorch_model.bin文件。 第一个问题:请问一下这个pytorch_model.bin文件是否含有原Llama3-Chinese_v2的能力?
在出现这个文件之后我把原有Llama3-Chinese_v2的相关文件复制进来一份。然后执行finetune_codealpaca.sh 第二个问题:我在训练这个新的模型文件时如何选择训练方式 pt或者sft如何进行选择?