search

ntunlp / daga

Data Augmentation with a Generation Approach for Low-resource Tagging Tasks
MIT License
79 stars 15 forks source link

关于 linearized sequences 格式数据的生成的问题 #4

Open ume-technology opened 3 years ago

ume-technology commented 3 years ago

我在处理把 train dev test .txt 三个文件数据借助 tool 包中 preprocess.py 模块处理时，得到的 vocabulary 是空，这个脚本的代码对于源文件中的每一行数据都 continue 掉了，没有加入到 vocabulary 中，是我的源数据文件错误了？我使用的 conll2003 这个数据集。 其中 train.txt 的格式如下，请大家帮我确认一下是我的数据集就是错误的吗？ image

Bosheng2020 commented 3 years ago

你好，谢谢你的comment。NER的模型一般训练数据只需要取第一列和第四列。你可以试试。