fxsjy / jieba

结巴中文分词
MIT License
33.39k stars 6.73k forks source link

分词后的结果如何还原 #1010

Open 520jefferson opened 10 months ago

520jefferson commented 10 months ago

当前语料被jieba分词分过了,但是我想还原一下,又不能简单的替换空格,因为有中英文混杂的情况,英文需要空格。 此外,时间,数字或者网址被切开等等情况又该如何处理也是个问题,