分词有待改善之处

haluo / fudannlp

Automatically exported from code.google.com/p/fudannlp

0 stars 0 forks source link

Open GoogleCodeExporter opened 8 years ago

GoogleCodeExporter commented 8 years ago

重现步骤
1.针对“穿上日本和服装嫩”进行汉字分词

期望结果
”穿上 日本 和服 装嫩 “

实际得到的结果
“穿 上 日本 和 服装嫩”

使用的版本
webservice: http://jkx.fudan.edu.cn/fudannlp/

Original issue reported on code.google.com by hcp5h...@gmail.com on 6 Apr 2011 at 1:44

GoogleCodeExporter commented 8 years ago

这个体现基于统计的分词方法的缺点了。改进这个问题要增��
�新的特征、训练样本或词典。引入词典可能是简单有效的做�
��，下一版可以加入词典来改善这个问题。

Original comment by xipeng...@gmail.com on 7 Apr 2011 at 3:57

GoogleCodeExporter commented 8 years ago

分词使用基于crf的字标注做的吗？

Original comment by QiuWei1...@gmail.com on 24 Jul 2011 at 9:18

GoogleCodeExporter commented 8 years ago

分词很基本和容易的了，连这个都弄不准，其他不用看了。

Original comment by iamgl...@gmail.com on 19 Jul 2012 at 8:18

GoogleCodeExporter commented 8 years ago

中华人民共和国公

expect: 中华 人民 共和国 公

practical: 中华 人民 共和国公

Original comment by kittym...@gmail.com on 12 Sep 2013 at 7:58