yanyiwu / cppjieba

"结巴"中文分词的C++版本
MIT License
2.57k stars 690 forks source link

win中多线程cut大量的块,结巴中的resize或者reverse会异常崩溃 #167

Open wuyang-dl opened 2 years ago

wuyang-dl commented 2 years ago

你好,请教一下。 多线程cut大量的文件,每个文件都很大(10MB左右),我是以4MB为一个块送到jieba中cut。 整个程序占用内存也不大(800MB左右)

但是多线程cut的话,会经常在jieba的vector中resize或者reverse崩溃。

请问这个是代码没有考虑到这个情况么?还是需要我事先把块切割的非常小(如1KB一个块),送给jieba cut?

谢谢!

image