zjunlp / DeepKE

[EMNLP 2022] An Open Toolkit for Knowledge Graph Extraction and Construction
http://deepke.zjukg.cn/
MIT License
3.6k stars 693 forks source link

CCKS比赛任务一中关于mt5基线的疑问 #272

Closed ZeyuZhu0120 closed 1 year ago

ZeyuZhu0120 commented 1 year ago

描述问题 >清晰简明地描述问题是什么。 我按照DeepKE/example/triple/mt5中的readme顺利执行了run_finetune_ds.bash文件,Validation Loss正常下降,但是Overall-score却一直为0,我没有修改其他的参数,使用的是2块RTX3090执行的程序,请问这个是为什么呢?在哪里可以解决这个问题呢? 还有一个问题是我执行了run_finetune_ds.bash文件以后,想要提交在CCKS上提交任务一使用mt5测试的基准,但是我发现输出的文件没有符合比赛提交要求的json文件,这个是需要做一些额外的操作吗?

环境(请填写以下信息): - 操作系统:[例如 mac / window] - Python 版本 [例如 3.6] Linux操作系统

屏幕截图 > 如果适用,添加屏幕截图以帮助解释你的问题。

1684047787606 1684048114525 1684048139973

额外的背景 > 在这里添加关于问题的任何其他背景。 None

guihonghao commented 1 year ago

trainer = Seq2SeqTrainer( model=model, args=training_args, train_dataset=train_dataset if training_args.do_train else None, eval_dataset=eval_dataset if training_args.do_eval else None, tokenizer=tokenizer, data_collator=data_collator, compute_metrics=compute_metrics,

preprocess_logits_for_metrics=None if training_args.do_predict else preprocess_logits_for_metrics,

)

把preprocess_logits_for_metrics这个参数删除掉。已在原代码中修改

guihonghao commented 1 year ago

输出的.txt文件每一行都是比赛中的'output',至于'kg'需要自己转换。

ZeyuZhu0120 commented 1 year ago

感谢您的解答,更改了以后确实得到了正确的 overral-socre!

ab37be8409aa3f5925fbf11c4b70bb7
ZeyuZhu0120 commented 1 year ago

输出的.txt文件每一行都是比赛中的'output',至于'kg'需要自己转换。

我看到readme里更新了,我试一下您给出的转换方法,再次感谢您!