[Maintenance] 关于Metric的special token - Githubissues

thu-coai / cotk

Conversational Toolkit. An Open-Source Toolkit for Fast Development and Fair Evaluation of Text Generation

Apache License 2.0

128 stars 26 forks source link

[Maintenance] 关于Metric的special token #441

Open hzhwcmhf opened 4 years ago

hzhwcmhf commented 4 years ago

metric应改用convert_ids_to_tokens或convert_ids_to_sent系列的函数。和原来的区别在于，输入可以选择性的带\等special token，也可以不带。可以带。

检查实现，是否有没用convert系列函数的情况
检查文档，应在文档中说明special token的处理方式
应在example中有所体现
原有Test应该能够通过

涉及的Metric有：

precision_recall:92 需要修改 293-297 检查一下，默认参数是remove special 所以感觉没有错