windows系统多卡训练失败

yeyupiaoling / MASR

Pytorch实现的流式与非流式的自动语音识别框架，同时兼容在线和离线识别，目前支持Conformer、Squeezeformer、DeepSpeech2模型，支持多种数据增强方法。

Apache License 2.0

588 stars 105 forks source link

windows系统多卡训练失败 #76

Closed yjyz1011 closed 1 month ago

yjyz1011 commented 1 month ago

windows下无法双卡训练，显示nccl不支持。修改masr/trainer.py，修改backen为gloo后可以支持多卡训练，但是跑完1个eopch后，loss出现异常，显示loss=nan。求修改。 ![Uploading 8888F03CE5C9C5A87CCA97F2F8507B7D.png…]()

yjyz1011 commented 1 month ago

![Uploading 8888F03CE5C9C5A87CCA97F2F8507B7D.png…]()

yeyupiaoling commented 1 month ago

你是在群里提问的那位同学吧。你还是用Ubuntu系统训练吧，