smoothnlp / SmoothNLP

专注于可解释的NLP技术 An NLP Toolset With A Focus on Explainable Inference
GNU General Public License v3.0
624 stars 112 forks source link

分词问题。 #39

Closed niutyut closed 4 years ago

niutyut commented 4 years ago

您好,我有一些语句想分词。但是出现的结果和我想的完全不一样。句子有1万多条,我摘录几条如下: 【之嚆矢。故其民族帝国主义 说。其於孕育民族帝国主义 第一要著。此近世帝国主义 义之公德。此近世帝国主义 变为民族主义。由民族主义而变为民族帝国主义 族主义而变为民族帝国主义 诸国中择其有代表帝国主义 国之籍。故英人之帝国主义 。其最能发挥现世帝国主义 德国若也。德人行帝国主义 起今皇维廉第二之帝国主义 同心戮力。以实行帝国主义 要而论之。德人之帝国主义 斯 俄罗斯之帝国主义 昌耳。然则俄国之帝国主义 前驱。然则谓俄人帝国主义 由此观之。俄人之帝国主义   麦坚尼之帝国主义 自由无碍以实行帝国主义】 其中【民族帝国主义】【俄国之帝国主义】这类词在语句中出现频次都不下几百之多。但是分词没有将它们选出来。不知道为何。选出的词是这样的一些。 【军阀 资本 而为 英美 阶级 革命 所谓 政府 实行 打倒 反对 民军 是英 反抗 麦端尼 布尔塞维 马克思派 段祺瑞 蒋介石 马克思 马克思派的】 是否进行了过滤?希望帮助解答一些。谢谢

victorzhrn commented 4 years ago

您是说分词还是新词发现?

niutyut commented 4 years ago

奇怪,邮件里发的的东西,出现在这里了。新词发现为什么没有出现呢?