Open senzhen0725 opened 1 year ago
使用Baichuan2-7B-base作为预训练模型,belle-10k数据集进行微调,起始loss是2.x; 使用Baichuan2-13B-Chat作为预训练模型,belle-10k数据集进行微调,起始loss是2.x; 使用Baichuan2-13B-Base作为预训练模型,belle-10k数据集进行微调,起始loss是6.x; 这个正常吗?
请问你是用哪个脚本预训练baichuan2的呀?
使用Baichuan2-7B-base作为预训练模型,belle-10k数据集进行微调,起始loss是2.x; 使用Baichuan2-13B-Chat作为预训练模型,belle-10k数据集进行微调,起始loss是2.x; 使用Baichuan2-13B-Base作为预训练模型,belle-10k数据集进行微调,起始loss是6.x; 这个正常吗?