houbb / sensitive-word

👮‍♂️The sensitive word tool for java.(敏感词/违禁词/违法词/脏词。基于 DFA 算法实现的高性能 java 敏感词过滤工具框架。请勿发布涉及政治、广告、营销、翻墙、违反国家法律法规等内容。高性能敏感词检测过滤组件,附带繁体简体互换,支持全角半角互换,汉字转拼音,模糊搜索等功能。)
https://houbb.github.io/opensource/sensitive-word
Apache License 2.0
4.36k stars 589 forks source link

期望能够移除"女装"等一系列比较正常的词语 #61

Closed OPGithub closed 4 months ago

OPGithub commented 5 months ago

在做商城系统敏感词过滤的时候,发现女装也是敏感词,导致发布的商品异常

OPGithub commented 5 months ago

另外还有装修、妹妹、他爸爸这种单独使用并不算敏感的敏感词

希望这种过滤:他妈妈不是敏感词,也就是说他妈妈加入了白名单之后,里面期望显示他妈妈,而不是**妈

houbb commented 5 months ago

嗯 因为敏感词的有一部分是营销 所以和商城类目会冲突。

第二个问题可以把【他妈】这种也加入白名单,因为会匹配最短的。

OPGithub commented 5 months ago

嗯 因为敏感词的有一部分是营销 所以和商城类目会冲突。

第二个问题可以把【他妈】这种也加入白名单,因为会匹配最短的。

可不可以优先匹配白名单的,比如他妈妈存在白名单,就不用匹配这个白名单里面的敏感词【他妈】了

houbb commented 4 months ago

v0.16.2 移除了你提到的几个常用词。