Open ykallan opened 1 year ago
文本长度多少?这个是一次加载全量数据的,如果不能,得改成yield的形式
文本长度多少?这个是一次加载全量数据的,如果不能,得改成yield的形式
文本长度大概是64左右,我设置了max_len = 64
晚点我试一下yield
text=64应该不至于,是label数太多的原因?该项目源码数据预处理是默认转成onehot的,可以把label转成onehot的操作置于data_collator,或者是用Sparse损失函数
进行文本多标签分类,数据有90多万,txt文件有不到200m,但是读取数据集占用的内存太多了,不知道是不是bug还是本来就这样,机子32g的内存都不够读取四分之一的数据,