search

smoothnlp / SmoothNLP

专注于可解释的NLP技术 An NLP Toolset With A Focus on Explainable Inference
GNU General Public License v3.0
624 stars 112 forks source link

对句子进行分词时句子长度的限制 #59

Open KawhiZhao opened 4 years ago

KawhiZhao commented 4 years ago

您好，非常感谢您的工作 目前想对句子进行中英文混合分词，但句子太长会报错，如果固定长度分割后再分词，可能会破坏句子的连续性，这个问题有什么解决方法吗