farizikhwantri
commented
3 years ago Hi @KerenzaDoxolodeo , untuk dev.conll itu tidak digunakan dalam training scenario https://github.com/kata-ai/wikiner/blob/master/config/cl-transfer/conll-all-idtransfer_clean1k.json clean data
- dev.conll itu merupakan data untuk mengukur performance automatic annotation (post training clean model menggunakan configurasi diatas) yang dilakukan oleh model yang di train dengan clean data dan belum dimasukkan ke dalam report paper arxiv, untuk liat split 1k ada di folder cross-val
- data tersebut dinamakan dev.conll karena merupakan subset dari original 20k tapi tidak overlap dengan 1.2k gold training yang dianotasi untuk melihat performance model dari noisy 20k selain dari goldstandard paper sebelumnya https://github.com/ialfina/ner-dataset-modified-dee/blob/master/goldstandard-0811.txt
Saya memerika data di google drive dan menurut ekspolrasi saya, 1k_gold.conll.final memiliki hampir 1.2k entri dan dev.conll memiliki hampir 1k entri. Saya ingin mengkonfirmasi bahwa apakah ini memang seperti ini datasetnya? Saya mengira bahwa dev.conll harusnya hanya 200 entri.