ghlee3401
commented
2 years ago Arxiv
- Mel Spectrogram Inversion with Stable Pitch
- ISMIR 2022 / Apple / Vocoder
- Sample URL : https://machinelearning.apple.com/research/mel-spectrogram (아직 페이지가 없음)
- Problem : speech와 다르게 musical sound는 여러 개의 음이 겹쳐있고 구조가 복잡하기 때문에, 기존에 speech를 위한 보코더를 music 생성에 사용하였을 때 phase를 제대로 복원하지 못해서 artifact가 생겨남
- Method
- 이 논문에서는 magnitude와 phase를 mel-spectrogram으로 예측하여 이를 iSTFT를 취하여 복원하는 phase-gradient 보코더를 제안함
- Figure 2를 보면 Magnitude는 해석이 쉬운 반면 phase는 해석이 어렵기 때문에 phase의 gradient를 frequency 축(세로)으로, frame(가로) 축으로 구하여 예측하고 integration시켜 phase를 복원하는 방법을 사용
- 즉, gradient를 구하는 방법과 integration 하는 방법에 따라서 성능이 달라질 수 있음
- Experiment
- mel-gan, hifigan, cargan, diffwave와 reconstruction을 비교하였음
- 13시간의 ambient music loops를 사용
- 논문에서 정의한 harmonic error로 살펴보면 여러 semitone(반음)간격으로 음이 나올 때 pitch의 안정성이 phase -gradient가 가장 나은 것을 보여줌
- Results
- Ambient music, NSynth dataset, one second long notes and chords (N+C)데이터를 이용하여 평가
- hifigan이 FAD가 phase-radient보다 ambient, N+C데이터셋에 대하여 제안한 모델보다 좋지만, pitch의 안정성은 떨어지는 것으로 보임
- diffwave의 경우 고주파 쪽에 hiss 노이즈가 생기지만 harmonic component에 대해서 안정적으로 합성
- cargan의 경우 chunk단위로 autoregressive하게 생성하는 모델인데 chunk의 경계에서 노이즈가 발생
- melgan의 경우 기계음이나 artifact가 많이 발생하였음
- phase-gradient의 neural net의 속도는 빠르지만, phase integration 과정이 autoregressive로 이루어져 느림
- Training Text-To-Speech Systems From Synthetic Data: A Practical Approach For Accent Transfer Tasks
- INTERSPEECH2022 / Google LLC, DeepMind / TTS
- Sample URL : https://google.github.io/chive-prosody/chive-bert-synthetic/
- Problem : Tacotron 기반의 TTS모델을 accent transfer에 사용하였을 때, early stopping, word skipping, word repetition 등의 문제가 발생하여 충분한 양의 데이터 셋이 확보 되어야 함
- Method : Tacotron 기반(speaker와 accent를 condition)으로 accent transfer 모델 (TTS 모델)을 만들어서 speech를 합성하고 합성한 데이터를 이용하여 CHiVE-BERT로 prosody embedding을 만들고 WaveGRU를 이용하여 wav로 합성
- Experiment
- US (North American accent) : 255K utterance (34 speakers)
- AU (Australian accent) : 54K utterance (5 speakers)
- GB (British accent) : 60K utterance (8 speakers)
- IN (Indian accent) : 34K utterance (7 speakers)
- Results
- Naturalness (short-form) : 짧은 문장에 대하여 neutral 과 news reading sytle 사이의 차이
- Accent quality : native accent speaker에게 음성 샘플을 들려주고 해당 억양이 적절한지 평가
- Naturalness (long-form) : 긴 문장에 대하여 accent가 잘 전달이 되었는지 평가
- News-reading style appropriateness : news 의 억양으로 적절한지 평가
- 결과적으로는 synthetic speech의 quality가 최종 결과에 영향을 미친다는 것 (당연하지 않나?)
- 최종 결과가 MOS 4.0을 넘으니까 쓸만하다는 것 (??)
- 이러한 task를 하기 위해서 synthetic data를 얼마나 사용할 것인지 실제 recording과 비율은 어떻게 할 것인지 합성음이 얼마나 자연스러워야되는지에 대해서 논의하고 실험을 설계해야함 (당연하지 않나???)
- 흥미로운 연구
- Turn-Taking Prediction for Natural Conversational Speech
- INTERSPEECH2022 / Google / Conversational speech
- 대화 데이터로 만드는 speech recognition을 하는 것으로 음이 길어진다든지, 간투어가 있을 때 어떤 말을 하고자 하는지 인식하기 위한 연구
- Turn-Taking Prediction for Natural Conversational Speech
hollobit
veritas9872
haebom
News
ArXiv
What Do NLP Researchers Believe? Results of the NLP Community Metasurvey
흥미있는 논문들