search

fastnlp / fastNLP

fastNLP: A Modularized and Extensible NLP Framework. Currently still in incubation.
https://gitee.com/fastnlp/fastNLP
Apache License 2.0
3.05k stars 451 forks source link

ConllLoader仍读取带有‘’-DOCSTART-‘’ 的数据行 #405

Open liushz opened 2 years ago

liushz commented 2 years ago

做pos-tag任务时，使用ConllLoader读取数据集，数据首行为： -DOCSTART- -X- O O 按照文档说明是不会读入这行的，但实际使用时读入了 image 刚接触NER，不知道是不是bug

yhcc commented 2 years ago

是个文档错误，感谢您。是Conll2003Loader才会忽略，ConllLoader不会忽略。