ghlee3401
commented
2 years ago -
ArXiv
- One-shot Voice Conversion for Style Transfer based on Speaker Adaptation
- 샘플 URL : https://kerwinchao.github.io/Oneshotvc.github.io/
- one-shot VC 를 제안 : 하나의 타겟 utterance만을 이용하여 타겟 화자의 목소리를 만드는 task
- recognition-synthesis system (4개의 주요 모듈로 이루어져 있음) - Fig. 1.
- content module : ASR로부터 추출된 bottleneck feature를 입력으로 speaker normalization[16번논문]을 수행하여 output은 speaker에 독립적인 contents가 나옴
- speaker module : reference encoder와 classifier를 이용하여 target speaker의 mel-spectrogram으로부터 speaker representation을 추출
- prosody module : log f0, vuv, energy와 같은 external feature와 bottleneck feature를 이용한 explicit & implicit modeling을 하여 speaker에 독립적인 prosody representation을 추출
- conversion module : 각 모듈의 output을 input으로 받아 mel-spectrogram을 예측 (over-fitting 문제를 방지하기 위하여 weight regularization을 사용)
- 3번의 training step
- any-to-one VC method를 이용하여 content module 학습
- large dataset을 이용하여 2가 적혀 있는 모듈 학습 (이 때 target speaker audio는 source audio의 동일 화자 랜덤 추출)
- target speaker 1개의 발화만을 이용하여 fine-tuning
- 영어여서 확실한 판단은 어렵지만 target speaker의 목소리로 말하고 발음도 준수
- Improved Prosodic Clustering for Multispeaker and Speaker-independent Phoneme-level Prosody Control
- 샘플 URL : https://innoetics.github.io/publications/multispeaker-prosody-control/index.html
- TTS 에서 F0와 duration의 phoneme-level prosody control을 위한 prosodic clustering을 제안
- Training set에 다양한 f0와 duration의 값이 들어있지 않으면 unseen에 대해서 adaptation 시 문제 발생
- phoneme-lelvel에서 f0와 duration에 대한 다양한 data augmentation을 수행하고 클러스터링을 함
- f0의 경우 speaker variation을 줄이기 위하여 normalization을 취한 후 클러스터링 수행
- duration의 경우 K-Means 알고리즘이 아니라 duration에 해당하는 샘플 수가 같은 것끼리 묶음
- 결과적으로 few-shot adaptation 시 학습이 더 잘 됨
- 샘플 페이지를 보면 데이터 augmentation 방법이 다양한 것이 눈에 띔
- 너무 과하게 shift한 값들은 사용하는게 맞을지는 의문
- One-shot Voice Conversion for Style Transfer based on Speaker Adaptation
kimyoungdo0122
qqueing
hollobit
News
Arxiv
DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with Gradient-Disentangled Embedding Sharing
MS 365 AI와 MSR의 DeBERTa 멤버들이 그대로 개선
DeBERTa: Disentangled attention (word content and position): https://arxiv.org/pdf/2006.03654.pdf (ICLR 2021), 공개는 작년 6월 --> RoBERTa보다 좋은 성능 보임
MLM을 Electra의 pretraining task인 repace token detection (RTD)로 대체 (대체 생성된 token 잡아내기)
Electra 스타일로 하되 Electra의 D와 G 사이의 tug of war (줄다리기) 문제 해결을 위한 gradient-disengtangled embedding sharing 제안
https://github.com/microsoft/DeBERTa
GauGAN2
GauGAN2 combines segmentation mapping, inpainting and text-to-image generation in a single model, making it a powerful tool to create photorealistic art with a mix of words and drawings.
NÜWA: Visual Synthesis Pre-training for Neural visUal World creAtion
이름이 왜 이런가 했더니: https://en.wikipedia.org/wiki/N%C3%BCwa (중국 고대신화의 여와..)
text, image, video를 모두 입력에 넣고 visual decoding 하는 멀티모달 foundation model (from MSRA, 북경대)
이를 위해서 3D Nearby attention 기반의 변형 transformer
pretraining task: T2I, video prediction, T2V: 다양한 어려운 pretraining task approach
Image tokenizer는 VQ-GAN (Video도 그냥 그대로)
Pretraining data: 2.9M I-T pair, Moments in Time (727k video), VATEX (241k text-video pair)
Florence: A New Foundation Model for Computer Vision
다양한 CV task들을 위한 Foundation model (Foundation model이 궁금한 분은: ) from MSR and MS Cloud
훈련데이터는 web scale image-text data
12 layer transformer (LM encoder) + Conv+SwinTransformer (Vision encoder)
Image-text contrastive learning은 UniCL을 쓴다는데 (동일 그룹) 2022년에 arxiving을 준비하고 있다는... ㅡㅡ;;;
Scalability를 위한 테크닉들 함께 소개 (그래서 512 A100 10일간 돌림)
Transfer type: finetuning, linear probing, few-shot, zero-shot for 44 benchmark tasks
ImageNet-1k zero sho 83,7%, COCO 62.4 mAP, VQA 80.36, 87.8 for K-600