Open yichengye310 opened 5 years ago
样本大的时候 产生val.txt文件大 到2G以上啦 这样建词汇表 是不是建不出来?是不是内存不够的关系?大概要什么配置才能顺利跑完所有数据?
是不是需要分布式建立?还是能训练结果逐步更新追加?
谢谢!
请问解决了吗,我也遇到了,样本集过大直接就kill了
样本大的时候 产生val.txt文件大 到2G以上啦 这样建词汇表 是不是建不出来?是不是内存不够的关系?大概要什么配置才能顺利跑完所有数据?
是不是需要分布式建立?还是能训练结果逐步更新追加?
谢谢!