Open wuyang-dl opened 2 years ago
你好,请教一下。 多线程cut大量的文件,每个文件都很大(10MB左右),我是以4MB为一个块送到jieba中cut。 整个程序占用内存也不大(800MB左右)
但是多线程cut的话,会经常在jieba的vector中resize或者reverse崩溃。
请问这个是代码没有考虑到这个情况么?还是需要我事先把块切割的非常小(如1KB一个块),送给jieba cut?
谢谢!
你好,请教一下。 多线程cut大量的文件,每个文件都很大(10MB左右),我是以4MB为一个块送到jieba中cut。 整个程序占用内存也不大(800MB左右)
但是多线程cut的话,会经常在jieba的vector中resize或者reverse崩溃。
请问这个是代码没有考虑到这个情况么?还是需要我事先把块切割的非常小(如1KB一个块),送给jieba cut?
谢谢!