fastnlp / fastHan

fastHan是基于fastNLP与pytorch实现的中文自然语言处理工具,像spacy一样调用方便。
Apache License 2.0
752 stars 86 forks source link

如何将auto_truncate设为True? #21

Closed TianruiZhang closed 3 years ago

TianruiZhang commented 3 years ago

在进行长句(超过512)分词的过程中,如何将auto_truncate设为True?求大佬解答。

fdugzc commented 3 years ago

现在fastHan内部没法进行截断,只能由用户在输入之前自己截断;下个版本的fastHan会添加自动截断的功能

TianruiZhang commented 3 years ago

感谢!