search

yeyupiaoling / PPASR

基于PaddlePaddle实现端到端中文语音识别，从入门到实战，超简单的入门案例，超实用的企业项目。支持当前最流行的DeepSpeech2、Conformer、Squeezeformer模型
Apache License 2.0
797 stars 131 forks source link

save gpu log failed #138

Closed shop668 closed 1 year ago

shop668 commented 1 year ago

尊敬的夜雨飘零，你好： 我在训练的过程中有时候会发现下面这样的警告 LAUNCH WARNING 2023-02-16 04:12:21,156 save gpu log failed 似乎没有影响训练，但是还是有些担心，请教一下这个警告是由于什么原因导致的。

    多谢！
yeyupiaoling commented 1 year ago

你是单卡训练吗？如果是单卡训练没有报错就没有关系。如果是多卡训练的话，你看看log目录有没有文件。

shop668 commented 1 year ago

尊敬的夜雨飘零，你好，很荣幸得到您的回复，我是双卡训练，两块RTX 2080Ti，log目录下是有文件的，如下 default.cidoji.log default.gpu.log default.kzrmlz.log default.olisid.log vdlrecords.1676437173.log vdlrecords.1676467439.log vdlrecords.1676510672.log workerlog.0 workerlog.1

另外，我一共训练20轮，前14轮是没这个警告的，15轮开始有了

多谢！

shop668 commented 1 year ago

多谢多谢