search

speech-separation-hse / TIME-DOMAIN-AUDIO-VISUAL-SPEECH-SEPARATION

Pytorch implementation
7 stars 4 forks source link

Runing Dual_Path_RNN_audio_visual checkpoint #1

Open shirafaigen opened 3 years ago

shirafaigen commented 3 years ago

Thank you for the code and the checkpoints! Can you please explain how to run the the pretrained "Dual_Path_RNN_audio_visual" checkpoints. Unfortunately, simply running it with "dualrnn_test.py" doesn't work since there are missing and unexpected keys. Thanks Shira

shirafaigen commented 3 years ago

Привет,

Быстрый вопрос На какой базе данных ты обучил сеть? На LRS2 или какой-то другой

кроме того, я вижу, что checkpoints не соответствуют коду, не мог бы ты посоветовать, где новый chechpoint/ код? Спасибо!

bruce-willis commented 3 years ago

Добрый день, @shirafaigen!

На знаю насколько ещё актуально, почему-то не было никакого уведомления на почту.

Обучали на LRS3, так как для LRS2 нужно соглашение с BBC, что немного запарно. Причем использовали малую часть — только Trainval и Test (Pre-train был слишком большим).

Касаемо checkpoints+code: советую делать как в colab notebook (только что проверил, все работает). Т.е. использовать ветку experiments/audio_visual_sum и соответствующие ей веса.

Feel free to ask anything else!