search

SeanLee97 / QANet_dureader

QANet+DuReader中文机器阅读理解
MIT License
223 stars 63 forks source link

关于预训练词向量的问题 #2

Closed xklg309 closed 6 years ago

xklg309 commented 6 years ago

测试用的数据可以运行，当使用全量的dureader数据后，仅使用zhidao.train.json这一部分作为训练集，运行 python3 cli.py --prepro 后内存错误，我是32G的机器，请问需要多大内存才能用zhidao+search的全量训练集，您的机器配置是什么？

SeanLee97 commented 6 years ago

128G + 1080Ti 用两份数据集的话很吃内存，当时看了一下要差不多50G的内存，建议用其中一份数据集训练即可。

xklg309 commented 6 years ago

谢谢，还想请教一下，全量数据集在您的机器上完整运行20 epoch，需要花费多长时间？

SeanLee97 commented 6 years ago

@xklg309 两份数据集一起跑10个epoch差不多三天

xklg309 commented 6 years ago

好的，谢谢，获益匪浅！

tomtang110 commented 5 years ago

可以问一下，我发现每次epcoh之后，内存始终处于增长状态，越后面的epoch占据的内存越大，到最后大概训练12万多条数据以后，内存就已经占了97%，最后就卡死了，因为，内存不够，cpu无法运转。想问下有解决方法吗？