search

shiyybua / NER

基于tensorflow深度学习的中文的命名实体识别
1.04k stars 400 forks source link

这个训练要多大内存啊 #26

Open stickjitb opened 6 years ago

stickjitb commented 6 years ago

我用的前几个issue里作者回复的预训练词向量，结果在训练程序开始之前就迅速爆掉了。可是按理说，这个向量文件的大小都才1.3G左右，会一瞬间撑爆8G内存吗？

stickjitb commented 6 years ago

补充：在load_word2vec_embedding函数执行到return前时内存都很正常，执行

return tf.get_variable("embeddings", dtype=tf.float32,
                           shape=[vocab_size + 2, embeddings_size],
                           initializer=tf.constant_initializer(embeddings), trainable=False)

的时候突然内存飙升然后爆掉了。不知道和tensorflow有没有关系。

FranksZhang commented 6 years ago

您好，我也是训练到这一步就撑爆8G内存了。不知道你是否找到问题所在了吗？怎么解决？

zcy12321 commented 5 years ago

8G内存好像搞不定这个，我也是8G，用16G内存的电脑就能跑动

bonalala commented 4 years ago

我用8G的内存，2G显存可以跑通，训练的时候用gpu，预测的时候用cpu来跑