search

hit-computer / SC-LSTM

Implement SC-LSTM model for text generation in control of words, in Python/TensorFlow
88 stars 31 forks source link

关于大量数据训练的问题 #8

Open armorunicorn opened 7 years ago

armorunicorn commented 7 years ago

您好，感谢您实现的代码。我训练网络的时候训练数据有100 0000条（一百多兆），预处理之后的数据文件就有49G,训练的时候都是out of memory，请问您是怎么解决大数据量的训练问题呢？

hit-computer commented 7 years ago

如果是资源超过显存大小，那就只能不使用GPU了。或者你不用预处理数据，因为预处理数据后会一次性加载全部的数据