Closed feifei05 closed 9 months ago
模型训练与精调
Chinese-Alpaca-2 (7B/13B)
Linux
# 要求要在微调过程中,推理训练集和测试集,在trainer初始化传eval_dataset参数的时候,把训练集和测试集一起放在字典里,能输出训练集和测试集的评估指标日志,{'eval_train_loss': 1.1376148462295532, 'eval_train_accuracy': 0.03090601185436071, 'eval_train_runtime': 91.1844, 'eval_train_samples_per_second': 22.285, 'eval_train_steps_per_second': 0.175, 'epoch': 0.25}和{'eval_eval_loss': 1.1339998245239258, 'eval_eval_accuracy': 0.030785923658682733, 'eval_eval_runtime': 364.1414, 'eval_eval_samples_per_second': 22.318, 'eval_eval_steps_per_second': 0.176, 'epoch': 0.25}, 但是会带上前缀,这就和源码默认的前缀有冲突,不清楚怎么改?
# ![微信图片_20231229193336](https://github.com/ymcui/Chinese-LLaMA-Alpaca-2/assets/69673314/33cab49d-0bba-4e0d-b0dc-dda4eb4aa79e)
# ![微信图片_20231229193025](https://github.com/ymcui/Chinese-LLaMA-Alpaca-2/assets/69673314/afaa13f8-50b2-41c1-9f11-19d476e2cc6a)
![Uploading 微信图片_20231229193336.png…]()
没有尝试过这种评测方式,可以试着改一下eval_dataset的key,不要采用train、eval这种易引起混淆的名称
eval_dataset
train
eval
是训练参数加了最好模型那个参数,设置了eval_accuracy,把这个改完就行
提交前必须检查以下项目
问题类型
模型训练与精调
基础模型
Chinese-Alpaca-2 (7B/13B)
操作系统
Linux
详细描述问题
依赖情况(代码类问题务必提供)
运行日志或截图