yeyupiaoling / PPASR

基于PaddlePaddle实现端到端中文语音识别,从入门到实战,超简单的入门案例,超实用的企业项目。支持当前最流行的DeepSpeech2、Conformer、Squeezeformer模型
Apache License 2.0
824 stars 129 forks source link

【终极版2.4x的版本】在推理长视频的时候总是报(External) CUDA error(719), unspecified launch failure. #183

Closed 1767595431 closed 3 months ago

1767595431 commented 4 months ago

【开发环境】RTX 1065 4G显存(足够使用) paddlepaddle-gpu==2.5.1 (命令 conda install paddlepaddle-gpu==2.5.1 cudatoolkit=11.6 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/Paddle/ -c conda-forge) CUDA是11.6.2 CUNN是 8.4的 (文件cudnn-windows-x86_64-8.4.1.50_cuda11.6-archive) 【线上环境】 N卡 A4000 16G显存 CUDA是11.6.2 CUNN是 8.4的 (文件cudnn-windows-x86_64-8.4.1.50_cuda11.6-archive)

【错误问题】:(外部)CUDA错误(719),未指定的启动失败。 [提示:'cudaErrorLaunchFailure'。执行内核时设备上发生异常。常见原因包括取消引用无效的设备点和访问越界共享内存。不太常见的情况可能是系统特定的,有关这些情况的更多信息可以在系统特定的用户指南中找到。这会使进程处于不一致的状态,任何进一步的CUDA工作都会返回相同的错误。要继续使用CUDA,必须终止并重新启动进程。](at..\padle\phi\backends\gpu\CUDA\CUDA_info.cc:260) ([2024-07-31 00:38:54 ERROR ] pun_predictor:call:115 - (External) CUDA error(719), unspecified launch failure. [Hint: 'cudaErrorLaunchFailure'. An exception occurred on the device while executing a kernel. Common causes include dereferencing an invalid device pointerand accessing out of bounds shared memory. Less common cases can be system specific - more information about these cases canbe found in the system specific user guide. This leaves the process in an inconsistent state and any further CUDA work willreturn the same error. To continue using CUDA, the process must be terminated and relaunched.] (at ..\paddle\phi\backends\gpu\cuda\cuda_info.cc:260))

【现在线上和开发环境都出现了这种情况,我测试的音频是14分钟的,CUDA11.7 CUDA11.8以及 paddlepaddle-gpu==2.4.2我都尝试了,每次识别过一次长视频后,第一次的识别信息是出现了,当第二次去识别长视频就会报这个错误】

1dad901e5170457d08b90e625f6f8cf

yeyupiaoling commented 3 months ago

@1767595431 是不是QQ群回复你了,是vad分割音频过长导致显存不足