Open RuipingWang1986 opened 2 months ago
您好,根据您的指导,我目前已经可以跑通finetune_cosmopedia脚本的训练,但是我发现生成的模型和之前使用的llama2-7B模型规模基本是相同的,并没有增大;另外,按照您论文里提到的,应该是可以自己设计添加多少层,但我在训练脚本中也没有发现。
您好,根据您的指导,我目前已经可以跑通finetune_cosmopedia脚本的训练,但是我发现生成的模型和之前使用的llama2-7B模型规模基本是相同的,并没有增大;另外,按照您论文里提到的,应该是可以自己设计添加多少层,但我在训练脚本中也没有发现。