Closed gaowenxin95 closed 3 years ago
我用这个模型做一个批量的处理,基本每个样本处理一次,都要重新load一次同义词表,这样巨慢,请问有什么好的方法可以只加载一次同义词表嘛?
def aug(df,create_num=3,change_rate=0.3): smw = Similarword(create_num=create_num, change_rate=change_rate) rs1 = smw.replace(df) for i in rs1: res = i return res
df_9['content_seg_new']= df_9['content_seg'].apply(lambda x:aug(x))
load :D:\anaconda3\lib\site-packages\nlpcda\data\同义词.txt done load :D:\anaconda3\lib\site-packages\nlpcda\data\同义词.txt done load :D:\anaconda3\lib\site-packages\nlpcda\data\同义词.txt done load :D:\anaconda3\lib\site-packages\nlpcda\data\同义词.txt done ...
pandas的apply是并行的啊。当然这样了。你把smw = Similarword(...)放全局,或者当成参数传入。
赞
我用这个模型做一个批量的处理,基本每个样本处理一次,都要重新load一次同义词表,这样巨慢,请问有什么好的方法可以只加载一次同义词表嘛?