search

smoothnlp / SmoothNLP

专注于可解释的NLP技术 An NLP Toolset With A Focus on Explainable Inference
GNU General Public License v3.0
624 stars 112 forks source link

增加Python多进程计算ngram_freq_total和ngram_keys #55

Open KobeChe opened 4 years ago

KobeChe commented 4 years ago

首先感谢smoothnlp。最近处理20G的word文档做专有名词挖掘，extract_domain_words()的时候有点慢，读了源码发现是单进程的，所改成多进程版本，速度提升很大。希望对smoothnlp有帮助