search

chenxie95 / deeplearning_course_sjtu

14 stars 2 forks source link

ASR decode并行度问题 #3

Open cantabile-kwok opened 2 years ago

cantabile-kwok commented 2 years ago

超算好像对用户有cpu核数的限制，sbatch -c只能选择1。不过，即使只申请一个cpu核，好像也可以设置--nj不为1，这样的话应该是共用一个cpu核，实测需要八九个小时完成dev和test的decode（使用nj=4，a100），由于不太清楚这个ASR模型的decode效率，所以想问问这个速度是否与nj=1是类似的？有什么办法可以提高并行度嘛？

cpdu commented 2 years ago

这个速度是正常的。如果是调试效果，可以尝试切出一个test set的子集，调试好后再在完整测试集上测试。

chenxie95 commented 2 years ago

另外一个小建议：你可以看看里面有个config，是可以使用gpu做inference和decoding的(asr.sh中的gpu_inference)，默认应该是关的，你可以设置打开看看decoding速度是否能提高

cantabile-kwok commented 2 years ago

打开GPU开关应该能达到1h以内了