ghlee3401
commented
2 years ago Arxiv (Audio and Speech Processing)
- Speech Representation Disentanglement with Adversarial Mutual Information Learning for One-shot Voice Conversion
- INTERSPEECH2022 | 칭화대학, Ping An Technology | speech representation, one-shot voice conversion, mutual information
- Problem
- VC (voice conversion)은 source speaker의 speech에서 linguistic contents를 남기고 target speaker의 음색으로 바꾸는 것을 말하고, one-shot VC는 inference 시 target speaker의 하나의 utterance만을 이용하여 음색을 변화시키는 task를 말함
- 기존의 VC 모델들은 timbre와 content를 분리하려고 하지만 pitch, rhythm은 분리하지 않음 (이 논문에서는 rhythm을 각 syllable당 speed로 정의하였음)
- Method
- Unsupervised Speech Decomposition via Triple Information Bottleneck(SpeechSplit)을 기반으로 함
- split speech 논문 발표 영상 참조 : https://youtu.be/sIlQ3GcslD8
- 이 논문에서는 speech representation disentanglement voice conversion (SRDVC) 모델을 제안
- speech를 rhythm, pitch, content, timbre 네 개로 나눔
- source mel-spectrogram, normalized pitch을 입력으로 각 특징에 대한 representation을 학습하기 위하여 네 개의 encoder를 두고, pitch decoder와 speech decoder 2개의 decoder를 두었음
- speaker 정보를 제외한 나머지 정보들의 latent representation 사이의 adversarial mutual information learning을 이용하여 각 representation에 원하는 특징이 담기도록 학습 (gradient reversal layer, GRL)도 사용
- 여기서 variational contrastive log-ratio upper bound (vCLUB)를 사용한다고 함
- split speech 논문 발표 영상 참조 : https://youtu.be/sIlQ3GcslD8
- Unsupervised Speech Decomposition via Triple Information Bottleneck(SpeechSplit)을 기반으로 함
- Results
- 데이터셋은 VCTK를 이용하였고 모든 화자의 대화가 동일한 parallel dataset을 사용한 것으로 보임
- Figure 3을 보면 각각에 대해서 conversion 했을 때의 결과를 확인할 수 있음 (source 여, target 남)
- Disentangled Speaker Representation Learning via Mutual Information Minimization
- Arxiv | 서울대학교 | disentanglement, mutual information, ASR
- Far-Field Speaker Verification Challenge 2022 (FFSVC 2022) 에 참여했던 내용
- 해당 챌린지는 각 speaker가 다른 device (tablet, telephone, microphone array)에서 녹음이 되었음
- 코드 URL : https://github.com/clovaai/voxceleb_trainer
- 위 논문은 VC를 위한 disentangling 문제였다면 이 논문은 speaker recognition을 위한 문제
- Goal : 화자와 관련이 있는 feature와 화자와 관련이 없는 feature 사이에 mutual information (MI)를 최소화하기 위하여 contrastive log-ration upper bound (CLUB)를 사용
- speech로부터 얻은 speaker representation과 device representation 사이의 MI 최소화
- speech로부터 얻은 speaker representation과 device label 사이의 MI 최소화
- speech로부터 얻은 device representation과 speaker label 사이의 MI 최소화
- Arxiv | 서울대학교 | disentanglement, mutual information, ASR
- 흥미있는 연구들
- Uconv-Conformer: High Reduction of Input Sequence Length for End-to-End Speech Recognition
- Conformer의 학습 시간을 줄이면서 CTC loss의 수렴이 안정적으로 진행되도록 구성
- U-Net 구조를 사용하고 레이어 사이의 output 간의 CTC loss를 추가하였음
- 100시간 짜리 데이터셋에서는 Uconv-Conformer가 WER이 앞서는데 960시간 짜리 데이터셋에서는 기존 Conformer가 좋은 성능을 보임
- Differentiable WORLD Synthesizer-based Neural Vocoder With Application To End-To-End Audio Style Transfer
- DDSP처럼 WORLD vocoder로 speech의 성분을 나눌 수 있는데 기존의 WORLD는 미분이 불가한데 학습이 가능하도록 수정한 연구 (자세한 것은 논문 참조!)
- speech내의 특징 (spectral envelop, pitch, aperiodicity 등)에 대해 disentangle이 가능하며 style transfer가 가능함
- iZotope, Inc에서 나온 논문인데 해당 기업은 RX, Ozone 등 audio를 다루는 소프트웨어로 유명
- DDX7: Differentiable FM Synthesis of Musical Instrument Sounds
- Music 합성 관련 논문으로 Frequency Modulation (FM) synthesis를 하는 신디사이즈 Yamaha DX7를 미분 가능하게 만든 모델
- 위의 iZotope 논문처럼 target audio의 특징(pitch, loudness)를 분리하고 FM을 합성하여 새로운 audio를 만듦
- 예를 들어 플루트, 바이올린, 트럼펫 소리가 나오도록 configuration을 조절해야 하는데 이를 neural net으로 대신하는 것으로 보임 (자세한 내용은 논문 참조!)
- Uconv-Conformer: High Reduction of Input Sequence Length for End-to-End Speech Recognition
hollobit
nick-jhlee
News
ArXiv
Understanding Scaling Laws for Recommendation Models
흥미있는 연구들