会有自定义词库不生效情况？[UTF8 的 bom 问题]

[flyingdew]

solr 4.10.4 mmseg4j 2.2.0 自定义词库“女式”， "parsedquery_toString": "text:女 text:式"

但是其他自定义词如“女款”却可以 另外，我把jar包里的词库去掉，放到dicPath下，加入"女式"，却又生效，折腾好长时间了。。 另，拿最新源码跑单元测试好像是正常的。 初接触solr，如有理解错误，见谅

[flyingdew]

BOM问题，真是醉了。。

[chenlb]

词库(强制使用 UTF-8)：

• data/chars.dic 是单字与语料中的频率，一般不用改动，1.5版本中已经加到mmseg4j的jar里了，我们不需要关心它，当然你在词库目录放这个文件可以覆盖它。
• data/units.dic 是单字的单位，默认读jar包里的，你也可以自定义覆盖它，这功能是试行，如果不喜欢它，可以空的units.dic文件(放到你的词库目录下)覆盖它。
• data/words.dic 是词库文件，一行一词，当然你也可以使用自己的，1.5版本使用 sogou 词库，1.0的版本是用 rmmseg 带的词库。
• data/wordsxxx.dic 1.6版支持多个词库文件，data 目录（或你定义的目录）下读到"words"前缀且".dic"为后缀的文件。如：data/words-my.dic。
• 由于 utf-8 文件有带与不带 BOM 之分，建议词库第一行为空行或为无 BOM 格式的 utf-8 文件。

https://github.com/chenlb/mmseg4j-from-googlecode 旧的版本的 readme 有说明，呵呵。

[flyingdew]

多谢大神回复，其实我有从您的博客看过文章，这个只能怪自己不谨慎了。词库前面已经加入其它的词，生效了，便想当然的以为不会有问题了。后来又从网上看了几篇文章，都要求词库必须为UTF-8无BOM，才去找工具转了一下。