search

sea-team / gofound

GoFound GoLang Full text search go语言全文检索引擎，毫秒级查询。 使用http接口调用，集成Admin管理界面，任何系统都可以使用。
Apache License 2.0
1.59k stars 190 forks source link

分词器的问题 #84

Open liguangxue opened 1 year ago

liguangxue commented 1 year ago

请问一下，分词的时候，为什么要把标点符号和空格都去掉，这样英文就没法分词了吧？还是我用的不对？ text = utils.RemovePunctuation(text) //移除所有的空格 text = utils.RemoveSpace(text)