请问用100条数据做微调之后，那该模型权重进行预测，显示错误数23，但是f1 p r的值都为0，是什么原因呀？

zjunlp / IEPile

[ACL 2024] IEPile: A Large-Scale Information Extraction Corpus

http://oneke.openkg.cn/

Other

157 stars 14 forks source link

Closed vv521 closed 5 months ago

vv521 commented 6 months ago

还有一个问题就是继续训练的时候训练精度只有改为fp16才能loss不为0，训练和验证的loss也都偏向比0.1更小的数，不知上述两个问题是源于数据集太小的原因

guihonghao commented 6 months ago

lora训练的精度是bf16，继续训练用fp16会出问题。

vv521 commented 6 months ago

lora训练的精度是bf16，继续训练用fp16会出问题。

用bf16训练会驯练两下就开始loss为0了，/(ㄒoㄒ)/~~

vv521 commented 6 months ago

train的loss非常小，验证集的loss基本上偏向于0，这种情况是不是训练的数据集太小了呀

guihonghao commented 6 months ago

有可能，你可以混一些其他的IE数据集一起训练。同时设置合适的val_set_size（验证集大小）

zxlzr commented 5 months ago

请问您还有其他问题吗?