search

sea-team / gofound

GoFound GoLang Full text search go语言全文检索引擎，毫秒级查询。 使用http接口调用，集成Admin管理界面，任何系统都可以使用。
Apache License 2.0
1.59k stars 190 forks source link

全英文内容搜索没有数据 #72

Open akincol4544 opened 1 year ago

akincol4544 commented 1 year ago

the Hypertext Transfer Protocol HTTP is an application layer protocol in the Internet protocol 我增加了内容， 我搜 layer 没有出数据啊，搜 protocol 也没有数据，debug默认开的，控制台没有报错误

xiaoyaoking commented 1 year ago

放弃吧。。 我试了下， 这个搜索 使用得分词 不太理想。导致很多词他没分，然后逆就搜不到。

jingkang99 commented 1 year ago

image 英文的空格被忽略，没有正确分词

jingkang99 commented 1 year ago

分词用的是 jieba，可以调试下 tokenizer.go 里 

//移除所有的标点符号
text = utils.RemovePunctuation(text)

//移除所有的空格
//text = utils.RemoveSpace(text)
fmt.Println("----------------> remove space\n")

移除空格导致英文分词不对 注释了就对了 image