hightman / scws

开源免费的简易中文分词系统,PHP分词的上乘之选!
http://www.xunsearch.com/scws/
Other
1.65k stars 348 forks source link

当add_dict的类型为txt时,负载狂高 #14

Closed yangshiqi closed 8 years ago

yangshiqi commented 9 years ago

$cws->add_dict('/path/to/dict.utf8.txt', SCWS_XDICT_TXT);

当添加txt类型字典时,我看了代码,会去检查/tmp/scws-xxx.xdb是否存在,且时间是否小于相应地txt字典文件,然后尝试unlink,重新生成。但是,如果当字典更新在webserver时,则引发惊群,所有进程都会尝试去生成这个xdb文件。

我的使用场景,有定时任务机器定时生成新的字典,然后同步到所有前端机上进行分词。

建议在尝试自动生成xdb时:加锁或者独占进程生成。