search

w2dp / ik-analyzer

Automatically exported from code.google.com/p/ik-analyzer
0 stars 0 forks source link

自定义词典——含特殊字符的词语 #98

Closed GoogleCodeExporter closed 8 years ago

GoogleCodeExporter commented 8 years ago 
如果自定义词典中包含有标点符号的词语,无法正确分词。
如：中国•浙江、3#路口

Original issue reported on code.google.com by fzk...@hotmail.com on 3 Dec 2012 at 8:29

GoogleCodeExporter commented 8 years ago 
亲，分词器不是字符匹配器，很多用户希望词典里面有什么��
�，就切出什么词；但分词器有自己的切分规则。
当分词器遇到这些符号的时候，会从规则上直接切断，而不��
�去字典匹配，所以配置这样的字典词无意义。

Original comment by linliang...@gmail.com on 4 Dec 2012 at 9:52