search

koth / kcws

Deep Learning Chinese Word Segment
2.08k stars 648 forks source link

训练的准确率91%，实际测试效果和与作者提供的demo有点差距，请问大神如何能达到和demo一样的效果 #102

Open midsummer128 opened 6 years ago

midsummer128 commented 6 years ago

训练模型准确率91%，实际测试效果和与作者提供的demo有点差距，请问大神如何能达到和demo一样的效果

midsummer128 commented 6 years ago

现在准确率到97.55%，和demo还是有差距。分词效果： { "pos": "gb", "tok": "长江形成" }, { "pos": "t", "tok": "今年" }, { "pos": "nz", "tok": "第一号" }, { "pos": "n", "tok": "洪水" } 请问大神如何能做到demo的效果

qujinqiang commented 6 years ago

@midsummer128 你有基于原始结构进行调整吗？ 我windows的，不知道该怎么跑。。。

midsummer128 commented 6 years ago

@qujinqiang 没有调整原始结构，我是在linux跑的，虚拟机

qujinqiang commented 6 years ago

@midsummer128 我也是用2014的语料做的训练，准确率也就91%； 整体结构跟kcws 类似 也是采用bi-lstm + crf 请问兄是怎么跑到97%的？ 兄要是方便交流的话还望加下我的Q：273459197

nwy2010 commented 6 years ago

我跑了下也是91%，demo的97%怎么跑的？

AlleyEli commented 6 years ago

用2014+1998的语料库,IDCNN可以跑到98.35%左右

midsummer128 commented 6 years ago

@AlleyEli 感谢回复，是否有命名实体识别的训练方法，基于BiLSTM-CRF模型的命名实体识别的语料标注方法

qujinqiang commented 6 years ago

@midsummer128 这个确实蛋疼，有好的方法还望交流

AlleyEli commented 6 years ago

@midsummer128 命名实体识别没有单独搞， 不过IDCNN和BILSTM都命名实体识别都不太理想