PeiChangY / -BERT-BILSTM-DGCNN-ATTENTION-CRF-

利用BERT+BILSTM/DGCNN+ATTENTION+CRF 解决中文NER任务
30 stars 0 forks source link

这里CRF的效果是不是没有体现出来? #7

Open cutecharmingkid opened 1 year ago

cutecharmingkid commented 1 year ago

我今天使用训练好的模型做预测,对应的预测输出的字标签有直接从I开始的情况,即有三种情况不太合理: 1.句首的字被预测成了I 2.I前面是O 3.I-A前面一个字符I-B,即另一种类型的I

cutecharmingkid commented 1 year ago

我想问一下,你使用这个训练好的模型去做预测的时候,预测产出的标签会不会不符合bio的标准?我今天下午做预测的时候发现有好几个实体直接是i开头的,不是b开头的。就比如说我预测一句话,北京是中国的首都。正常来说,北应该是B-LOC,但是结果预测成了I-LOC。我看模型里面有CRF层,应该是避免了这个问题的,但是实际上还是出现了标签预测不规范的问题

PeiChangY commented 1 year ago

请问使用的是哪个数据集训练出来的模型进行预测的

cutecharmingkid commented 1 year ago

请问使用的是哪个数据集训练出来的模型进行预测的

您好,我使用的是msra数据集

PeiChangY commented 1 year ago

请问有多次预测吗,同一个句子进行多次预测,出现的结果有多少次是有问题的

cutecharmingkid commented 1 year ago

您好,我对同一个句子做了10次预测,9次都会出现这个问题

请问有多次预测吗,同一个句子进行多次预测,出现的结果有多少次是有问题的

cutecharmingkid commented 1 year ago

请问有多次预测吗,同一个句子进行多次预测,出现的结果有多少次是有问题的

我发现每次预测,每一个句子中都出现了预测得到的标签不合法的情况

PeiChangY commented 1 year ago

预测结果能否发一下,predict模块是否有根据msra数据集进行调整

cutecharmingkid commented 1 year ago

我只改了tags = [(1, 2), (3, 4), (5, 6)],其他没有改动。

预测结果能否发一下,predict模块是否有根据msra数据集进行调整

cutecharmingkid commented 1 year ago

预测结果能否发一下,predict模块是否有根据msra数据集进行调整

前天我的模型都是正常运行的,刚刚使用predict文件做预测的时候突然报错了, image 现在基于msra的模型没办法运行,不过我可以给你看我用微博数据集做的预测结果

cutecharmingkid commented 1 year ago

语句为:中国主席习近平在北京会见俄罗斯总统普京。 结果为:[11, 12, 10, 10, 5, 6, 6, 17, 18, 10, 17, 17, 11, 12, 12, 12, 10, 12, 12, 6] 这里面有几处不合理的地方,两个10以及10121216都是不合理的

PeiChangY commented 1 year ago

predict模块的174行和111-151行也要同时进行修改,而且预测结果形式应该为 (PER:习近平 LOC:北京 )类似于这种的表现形式

cutecharmingkid commented 1 year ago

predict模块的174行和111-151行也要同时进行修改,而且预测结果形式应该为 (PER:习近平 LOC:北京 )类似于这种的表现形式

对的,以上的部分我也改了,但是输出的时候发现丢失了很多实体,所以我返回寻找,我输出的是predict文件夹中90行的out_path内容,即对输入文本进行标签预测的结果(预测结果是tags文件里的索引),发现预测得到的标签并不合法

PeiChangY commented 1 year ago

您这个问题我之前没有遇到过,可以切换数据集尝试一下