Open mhfc007 opened 7 years ago
配置 stopWordDictionaryPath 为 stopwords_hanlp.txt 之后,只能过滤掉一个空格,如果连续两个空格就会出现 [2020]
, 配置如下:
<analyzer type="index">
<tokenizer class="com.hankcs.lucene.HanLPTokenizerFactory"
enableIndexMode="true"
stopWordDictionaryPath="/var/solr/stopwords_hanlp.txt"
/>
</analyzer>
错误结果如图,中间出现[2020]
,请问 “[2020]” 是什么字符?
尝试通过 solr.StopFilterFactory
filter 来过滤字符,但是问题依旧,[20]
或[2020]
都过滤不了,配置如下:
<analyzer type="index">
<tokenizer class="com.hankcs.lucene.HanLPTokenizerFactory"
enableIndexMode="true"
/>
<filter class="solr.StopFilterFactory"
ignoreCase="true"
words="/var/solr/stopwords_hanlp.txt"
/>
</analyzer>
最终导致“空格”成为索引最多的字符:
按照Readme.md配置
但是分词分出了 " " (空格) 也分出了 "的" 还有标点符号 怎么样才能把这些词过滤掉呢?