ymcui / Chinese-LLaMA-Alpaca-2

中文LLaMA-2 & Alpaca-2大模型二期项目 + 64K超长上下文模型 (Chinese LLaMA-2 & Alpaca-2 LLMs with 64K long context models)
Apache License 2.0
7.06k stars 578 forks source link

在微调过程中,推理训练集和测试集,在trainer初始化传eval_dataset参数为字典,都包含两个数据集,但是key会作为前缀,然后报错,请问咋修改? #489

Closed feifei05 closed 9 months ago

feifei05 commented 9 months ago

提交前必须检查以下项目

问题类型

模型训练与精调

基础模型

Chinese-Alpaca-2 (7B/13B)

操作系统

Linux

详细描述问题

# 要求要在微调过程中,推理训练集和测试集,在trainer初始化传eval_dataset参数的时候,把训练集和测试集一起放在字典里,能输出训练集和测试集的评估指标日志,{'eval_train_loss': 1.1376148462295532, 'eval_train_accuracy': 0.03090601185436071, 'eval_train_runtime': 91.1844, 'eval_train_samples_per_second': 22.285, 'eval_train_steps_per_second': 0.175, 'epoch': 0.25}和{'eval_eval_loss': 1.1339998245239258, 'eval_eval_accuracy': 0.030785923658682733, 'eval_eval_runtime': 364.1414, 'eval_eval_samples_per_second': 22.318, 'eval_eval_steps_per_second': 0.176, 'epoch': 0.25},
但是会带上前缀,这就和源码默认的前缀有冲突,不清楚怎么改?

依赖情况(代码类问题务必提供)

# 

![微信图片_20231229193336](https://github.com/ymcui/Chinese-LLaMA-Alpaca-2/assets/69673314/33cab49d-0bba-4e0d-b0dc-dda4eb4aa79e)

运行日志或截图

# 
![微信图片_20231229193025](https://github.com/ymcui/Chinese-LLaMA-Alpaca-2/assets/69673314/afaa13f8-50b2-41c1-9f11-19d476e2cc6a)
feifei05 commented 9 months ago

微信图片_20231229193025

feifei05 commented 9 months ago

![Uploading 微信图片_20231229193336.png…]()

feifei05 commented 9 months ago

微信图片_20231229193336

iMountTai commented 9 months ago

没有尝试过这种评测方式,可以试着改一下eval_dataset的key,不要采用traineval这种易引起混淆的名称

feifei05 commented 9 months ago

是训练参数加了最好模型那个参数,设置了eval_accuracy,把这个改完就行