search

fastnlp / fastNLP

fastNLP: A Modularized and Extensible NLP Framework. Currently still in incubation.
https://gitee.com/fastnlp/fastNLP
Apache License 2.0
3.05k stars 451 forks source link

Metric #402

Closed x1240792379 closed 2 years ago

x1240792379 commented 2 years ago

您好，我最近在使用fastnlp进行中文命名实体任务，我发现没有Metric可以评测常用的F值，只有SpanFPreRecMetric。由于我是个nlp的新手，我想问一下该怎么修改，还是不使用Metric模块？

yhcc commented 2 years ago

NER正是必须要用SpanFPreRecMetric

x1240792379 commented 2 years ago

NER正是必须要用SpanFPreRecMetric

Span F：NER中使用的通用F分数同时考虑Span和实体类型的正确性，而Span F只考虑前者。如果我理解的没错，SpanFPreRecMetric评测的F值应该是Span F而不是通用的F分数。

yhcc commented 2 years ago

SpanF是同时考虑Span和实体类型的正确性的。如果只想token-wise的计算F结果的话，可以用ClassifyFPreRecMetric。不过在NER中，是需要用SpanFPreRecMetric的。

x1240792379 commented 2 years ago

好的，非常感谢!我看了FALT论文中有一个只考虑token-wise的F值指标，误以为SpanFPreRecMetric评测出来的F值没有考虑实体类型正确率。