search

xiangking / ark-nlp

A private nlp coding package, which quickly implements the SOTA solutions.
Apache License 2.0
311 stars 64 forks source link

gallic2022那个baseline中的convert_to_ids函数很慢 #53

Open boxiaowave opened 2 years ago

boxiaowave commented 2 years ago

和bert4keras对比，感觉这里的分词和转换id很慢，是不是有什么地方没优化好？

xiangking commented 2 years ago

您好，可以自定义多进程之类的代码进行提速