Le-Xiaohuai-speech / DPCRN_DNS3

Implementation of paper "DPCRN: Dual-Path Convolution Recurrent Network for Single Channel Speech Enhancement"
187 stars 41 forks source link

关于数据生成的问题 #9

Closed Andy-Lau-boy closed 2 years ago

Andy-Lau-boy commented 2 years ago

问题:您好,我看data_loader.py里clean_s在mix前会做一个混响模拟。所以最终学习的目标是混响后的语音吗?这样是否会导致处理后的语音也存在混响呢?还是说本身就是需要保留它的混响。非常感谢

Le-Xiaohuai-speech commented 2 years ago

目标是保留混响。这个和当时DCCRN目标是一致的。当时考虑的是这样做可以减少对语音的破坏,但现在看来去了混响听起来应该会更好。也可以目标就是清晰语音,注意和混响语音对齐就好。

------------------ 原始邮件 ------------------ 发件人: "Le-Xiaohuai-speech/DPCRN_DNS3" @.>; 发送时间: 2021年12月10日(星期五) 下午3:14 @.>; @.***>; 主题: [Le-Xiaohuai-speech/DPCRN_DNS3] 关于数据生成的问题 (Issue #9)

问题:您好,我看data_loader.py里clean_s在mix前会做一个混响模拟。所以最终学习的目标是混响后的语音吗?这样是否会导致处理后的语音也存在混响呢?还是说本身就是需要保留它的混响。非常感谢

— You are receiving this because you are subscribed to this thread. Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android.

Andy-Lau-boy commented 2 years ago

其实我比较纳闷的是,我们合成noisy,那是否应该对噪声也做同样的混响处理,因为如果是现实来录的话本应是这样,如果单纯地给clean加了混响,是否会导致其不真实?请问您是否试过其他加混响的方案?

Le-Xiaohuai-speech commented 2 years ago

这个问题对多通道处理更有意义。RIRs模拟的是话者到麦克风的路径传递函数,通常情况下,噪声我们就认为它在空间上是均匀的,或者说到处都一样所以不用加混响。多通道可能需要考虑噪声源的传递函数。

------------------ 原始邮件 ------------------ 发件人: "Le-Xiaohuai-speech/DPCRN_DNS3" @.>; 发送时间: 2021年12月10日(星期五) 下午3:29 @.>; @.**@.>; 主题: Re: [Le-Xiaohuai-speech/DPCRN_DNS3] 关于数据生成的问题 (Issue #9)

其实我比较纳闷的是,我们合成noisy,那是否应该对噪声也做同样的混响处理,因为如果是现实来录的话本应是这样,如果单纯地给clean加了混响,是否会导致其不真实?请问您是否试过其他加混响的方案?

— You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android.

Andy-Lau-boy commented 2 years ago

我明白了。非常感谢您的耐心解答