taishan1994 / pytorch_bert_bilstm_crf_ner

基于pytorch的bert_bilstm_crf中文命名实体识别
517 stars 81 forks source link

换成BIO类型的数据应该怎么做? #41

Closed qz6 closed 1 year ago

qz6 commented 1 year ago

作者你好,我想问问,换成BIO类型的数据应该怎么做?

qz6 commented 1 year ago

image 就像人民日报数据集

taishan1994 commented 1 year ago

作者你好,我想问问,换成BIO类型的数据应该怎么做?

可以先将这些数据转换为mid_data下数据的格式。

qz6 commented 1 year ago

作者你好,我想问问,换成BIO类型的数据应该怎么做?

可以先将这些数据转换为mid_data下数据的格式。

不好意思啊,我试了好久,通过process.py得到了mid_data下的json格式,但是把json数据转pkl类型的时候总是出错, image 所以想问问,data文件夹里哪个py文件是可以转成pkl格式的?谢谢了!

taishan1994 commented 1 year ago

作者你好,我想问问,换成BIO类型的数据应该怎么做?

可以先将这些数据转换为mid_data下数据的格式。

不好意思啊,我试了好久,通过process.py得到了mid_data下的json格式,但是把json数据转pkl类型的时候总是出错, image 所以想问问,data文件夹里哪个py文件是可以转成pkl格式的?谢谢了!

preprocess.py里面修改数据集名称和文本长度。然后运行它。

qz6 commented 1 year ago

作者你好,谢谢你的帮助,之前都解决了! 但是最后运行predict.py的时候,发现没有评价指标,只是将raw_text这个单句文本里的实体识别了出来,所以我想问问,metricsUtils.py这个文件怎么和predict.py文件联系到一起?主要是metricsUtils.py这个里面方法的参数有些没有注释,不知道是什么意思,麻烦你了。

taishan1994 commented 1 year ago

作者你好,谢谢你的帮助,之前都解决了! 但是最后运行predict.py的时候,发现没有评价指标,只是将raw_text这个单句文本里的实体识别了出来,所以我想问问,metricsUtils.py这个文件怎么和predict.py文件联系到一起?主要是metricsUtils.py这个里面方法的参数有些没有注释,不知道是什么意思,麻烦你了。

main.py里面有test打印评价指标的,predict.py只是单独进行预测的。

qz6 commented 1 year ago

谢谢帮助,解决了!