ノイズに対するロバストネスの向上

[fujimotos]

ノイズに対するロバストネスの向上

チケットのゴール

• 音飛びや雑音などに対応したロバストな音声認識モデルを構築する。
• MUSANを利用して、ノイズをaugumentしたデータで学習を実行する。
• ノイズが含まれるリアルワールドの音声データを明示的にサポートする。

参考リンク

• MUSAN http://www.openslr.org/17/
• KaldiのMUSANを利用したレシピ https://github.com/kaldi-asr/kaldi/blob/master/egs/sre16/v2/run.sh#L147
• ESPnet LRSレシピ (avsr1) https://github.com/espnet/espnet/blob/master/egs/lrs/avsr1/run.sh#L189

[euyniy]

Progress Created augmented data and conducted ASR experiments on 300h ReazonSpeech Medium set using MUSAN.

• Experiments
  1. Tried the Kaldi script and added foreground noise from MUSAN-noise to corpus with parameters --fg-interval 1 --fg-snrs "15:10:5:0" (fairly strong with information loss in conversion)
  2. Trained the Conformer-Transformer ASR model from scratch on medium data+augmented data combined(300hrsx2)
  3. Finetuned the pretrained ReazonSpeech ASR model only on the augmented data (300hrs, catastrophic forgetting anticipated)
• Results

  • CER on models trained from scratch		medium	medium+augmented
    JSUT 5000	19.39%	17.78%
    CV v8.0 test	22.85%	20.42%

  • CER on finetuned model		Whisper large v2	RS 15k	RS 15K augmented finetuned
    JSUT 5000	8.17	8.23	8.33
    CV v8.0 test	9.70	9.93	9.56

• Comments
  • Augmentation seems somewhat effective. We are further exploring the possibility to integrate the augmentation to the dataset/recipe without ASR performance degradation.