ownthink / evaluation

各大中文分词性能评测
https://www.ownthink.com/
150 stars 29 forks source link

数据有误 #5

Open vafvfdA opened 1 month ago

vafvfdA commented 1 month ago

你这怎么在trainging数据集上进行测试呢,training中的数据用于训练,test中的数据用于测试,gold中的数据是黄金标准,直接在trainging的数据上进行测试的话,恐怕难以反映准确性,因为很多分词器恐怕都是利用到了这个数据进行训练,这是我的想法,有错误欢迎指正

ownthink commented 1 month ago

项目里面的并非trainging数据集,我们没有公开训练数据的。