search

universal-ie / UIE

Unified Structure Generation for Universal Information Extraction
877 stars 99 forks source link

UNK结果的处理 #24

Closed xxllp closed 2 years ago

xxllp commented 2 years ago

我在使用这个来训练中文的数据上面预测结果出现[UNK] 这种 会影响后面的评估和使用

luyaojie commented 2 years ago

目前我是使用后处理来修复[UNK]。

我在CCKS基线中增加了一个中文相关的后处理修复方式（引入tokenizer），后续会更新到本仓库中。 可参考： https://github.com/PaddlePaddle/PaddleNLP/blob/7f7f7d09f99079c4a412c1cdfdbe5ac0639212eb/examples/information_extraction/DuUIE/uie/evaluation/sel2record.py#L728

xxllp commented 2 years ago

后处理是个办法 ~~