ghlee3401
commented
3 years ago Arxiv : Speech & Singing & Music Synthesis
-
A Survey on Recent Deep Learning-driven Singing Voice Synthesis Systems
- Singing Voice Syntehsis (SVS) 분야의 대표적인 딥러닝 모델 소개
- SVS 모델 구현 시 참고할만한 내용들이 잘 정리 되어 있음
- SVS에서는 모델도 모델이지만, 데이터 수집이 어렵고 음악적인 것 뿐만 아니라 감정 표현을 조절하는 것이 어려움
-
Neural Pitch-shifting and Time-stretching with Controllable LPCNET
- Problem
- pitch-shifting, time-stretching을 위한 digital signal processing (DSP) 기반 방법들을 사용하면 오디오 퀄리티가 떨어짐
- LPCNet은 1) pitch representation에 한계가 있고 2) pitch와 acoustic feature를 잘 분리하지 못하였고 3) 높고 낮은 pich의 데이터 셋이 부족했음
- LPCNet은 WaveRNN 기반의 모델로 frame-rate network와 sample-rate network로 구성
- Method
- 이 논문에서는 Controllable LPCNet (CLPCNet)을 제안
- Pitch quantization 방식을 바꿈 / pitch 추출 알고리즘은 YIN에서 CREPE로 바꿈 / Data augmentation을 함
- Sample : https://main.d3ee4zjxcj59ad.amplifyapp.com/
- Problem
-
Hierarchical Prosody Modeling and Control in non-Autoregressive Parallel Neural TTS
- Apple 의 논문! ICASSP 2022에 제출
- Problem
- 기존의 TTS 모델의 합성음은 prosody의 다양성을 학습하지 못하고 데이터셋의 평균 prosody 스타일을 가진다.
- Method
- FastSpeech2와 비슷한 구조를 가지되 utterance-level의 feature를 먼저 예측하고 그 값을 phone-level의 feature를 예측
- utterance-wise feature는 5개로 log-pitch, log-pitch range, log-phone duration, log-energy, spectral tilt
- hierarchical prosody modeling을 하는 non-autoregressive parallel neural TTS 를 제안하였고 단어별 control이 가능
hollobit
veritas9872
ArXiv
StyleNeRF: A Style-based 3D Aware Generator for High-resolution Image Synthesis
ICLR 2022 제출 버전 중 단연 화제작
NeRF를 이용한 이미지 생성이 대세로 넘어오고 있음
2D 이미지로부터 고해상도 실사 이미지 생성과 multi view의 3d consistency 맞추기 둘다 가능하게 만든 최초의 모델
전체적으로 NeRF + StyleGAN2 + Progressive upsampling 구조
Volume rederer 는 low-resolution feature map 생성까지만 씀
그 이후 개선된 upsampler 를 이용해서 해상도를 끌어올리고 regularization term으로 3d consistency 보존
Camera pose가 없는 2D 이미지 데이터로 부터 학습하기 위해 camera predictor도 self-supervised 스타일로 학습
Efficient Self-supervised Vision Transformers for Representation Learning
ICLR 2022 제출버전
ViT를 ImageNet-1k 훈련데이터만으로 매우 효율적으로 self-supervised로 학습하는 기법 (DINO나 MoCo-v3는 헤비하다고)
Multi-stage architecture with sparse SA --> complexity는 줄여도 region간 fine-grained correspondence 표현 감소
그래서 image region matching하는 pretraining task 추가해서 둘을 결합
DINO (self-distill) 스타일의 non-contrastive
ImageNet-1k validset linear probling 기준 81.3% 달성
Scale Efficiently: Insights from Pretraining and Finetuning Transformers
ICLR 2022 제출버전 (Double blind 하지만 구글냄새 솔솔)
Pretraining scaling law가 downstream에서 그대로 먹히지 않을 수도 있음.
작은 스케일의 모델에서 찾은 scaling 전략이 큰 모델에서 먹히지 않을 수 있음.
그래서 DeepNarrow라는 전략을 소개함
T5 5M ~ 30B까지 활용 LM 뿐 아니라 Vision Transformer에도 실험해봄.
100 개 넘는 T5 체크포인트를 release 하겠다고 (우와 ViT 몇만개 이후 완전 기대)
VideoCLIP: Contrastive Pre-training for Zero-shot Video-Text Understanding
Facebook + UW (EMNLP 2021)
video 와 자막을 활용하여 pretraining, downstream task에 대해서는 annotation 필요없는 zeroshot.
InfoNCE loss + positive pair + hard negative pair
Positive: text 고르고 --> 근처 video clip 고르고 --> random 길이, Negative: Retrieval-based sampling
Text-to-Video Retrieval, VideoQA, Action segmentation, Action step localization
Pretraining HowTo100M 으로부터 추출해서 사용
https://github.com/pytorch/fairseq/tree/main/examples/MMPT
Audio Lottery: Speech Recognition Made Ultra-Lightweight, Noise-Robust, and Transferable
Lottery ticket for on-device ASR
Wining ticket의 경우 충분히 작은 크기로도 noisy에 robust하고 개인화도 되고
CTC, RNN-Trasnducer, Conformer 각각에 대해 실험했을 때 21%, 11%, 8%만 non-zero weight 남겨도 좋은 성능
https://openreview.net/group?id=ICLR.cc/2022/Conference
