universal-ie / UIE

Unified Structure Generation for Universal Information Extraction
877 stars 99 forks source link

实体识别评价指标疑问 #36

Closed XiaoYee closed 2 years ago

XiaoYee commented 2 years ago

您好,我是做的NER任务,请问我在测试结束后,生成了两个文件:test_results.txt,test_results_seq2seq.txt。 在test_results.txt和test_results_seq2seq.txt中分别有test_offset-ent-F1,test_spot-F1这两个指标。 但是这两个值不相同且有明显差异,请问哪一个值才是真实的实体识别F1值?

luyaojie commented 2 years ago

test_offset-ent-F1 是实体识别的F1值。 test_spot-F1 是模型训练过程中用来评估Spot抽取的分数。

XiaoYee commented 2 years ago

谢谢您的回复。 还有一个小问题,请问string-ent-F1和offset-ent-F1的区别是什么?

luyaojie commented 2 years ago

string-ent-F1 是直接使用生成的字符串进行评价的分数。 offset-ent-F1 是使用生成的字符串从文本中找到的文本块偏移量进行评价的分数。

XiaoYee commented 2 years ago

谢谢您的回答