ghlee0304
commented
2 years ago News
- 클레온 '가상인간 솔루션' 곧 출시, 진승혁 첫 도전 무대 미국 '정조준'
- 5월에 디지털 휴먼 솔루션 '클론', 6월에 자동 더빙 솔루션 '클링'의 정식 출시 예정
- '디지털 휴먼 열풍'…클레온, UNIST서 AI 세미나 25일 발표
- 각 산업별 디지털 휴먼의 활용 사례, 디지털 휴먼의 필요성, 디지털 휴먼 제작에 필요한 딥러닝 기술 공유
- 구글, AI 편향 해소하는 10가지 피부 색조 공개
- 사람의 피부색을 정확하게 나타내는 새로운 10가지 색조(tone)을 공개
- 새로 공개된 피부 색조는 유색 인종의 피부 색조를 표현하는 방식을 개선하고 AI에서 나타날 수 있는 편견을 줄이는 것을 목적
- 하버드 대학의 엘리스 몽크 부교수와 공동 연구를 통하여 10단계 척도인 Monk Skin Tone(MST)를 개발
Arxiv
- GenerSpeech: Towards Style Transfer for Generalizable Out-Of-Domain Text-to-Speech Synthesis
- Arxiv / Zhejiang University / Zero-shot style transfer (TTS)
- 샘플 URL : https://GenerSpeech.github.io/
- Problem
- TTS에서 style transfer의 경우, style은 서로 다른 도메인(out-of-domain, OOD)에 대한 speech를 생성하는 것으로 볼 수 있음 예) 낭독체 - 대화체 - 게임체 - 중계체 - 연기체 등등
- expressive speech에서 다이나믹한 style feature의 경우 모델링과 전이 학습이 어려움
- TTS 모델에서 OOD condition에 대하여 robust하게 조절되어야 함
- Goal
- 이 논문에서는 GenerSpeech (a generalizable text-to-speech model for high-fidelity zero-shot style transfer of out-of-domain voice)를 제안
- GenerSpeech는 OOD voice에 대한 고품질의 zero-shot style transfer가 가능한 모델
- Method
- 기본적으로 FastSpeech2를 backbone으로 하고 일반화 성능을 위하여 style-agnostic (linguistic content) 와 sytle-specific (e.g., speaker identity, emotion and prosody) 를 각각 나누어 모델링
- generalizable content adaptor with Mix-Style Layer Normalization (MS-LN)
- adaspeech에서 layer normalization에 speaker condition을 넣어 사용한 것처럼 style embedding을 이용
- 일반화 성능을 높이기 위하여 MS-LN에서는 style embedding vector를 shuffle하여 사용
- Multi-level Style adaptor
- global : wav2vec 2.0에 speaker 와 emotion에 대한 classification 학습으로 fine-tune하여 사용
- local : local style encoder를 이용, phoneme, word level의 경우 boundary를 이용하여 pooling
- non-style information을 제거하기 위하여 vector quantization block을 사용
- Flow-based Post-Net
- flow-based post-net을 사용하여 mel-spectrogram의 퀄리티를 향상
- 기본적으로 FastSpeech2를 backbone으로 하고 일반화 성능을 위하여 style-agnostic (linguistic content) 와 sytle-specific (e.g., speaker identity, emotion and prosody) 를 각각 나누어 모델링
- Dataset
- LibriTTS (multi-speaker corpus(2,456 speakers, 586 hours)
- ESD dataset (10 speakers, 3 emotions (angry, happy, neutral), 13 hours)
- OOD 시나리오를 위하여 VCTK (108 unseen speaker), ESD dataset (2 emotions (surprise and sad))
- Restuls
- 눈 여겨 볼 만한 논문들
- Accented Speech Recognition: Benchmarking, Pre-training, and Diverse Data
- Google Speech, Google Brain / ASR
- Perceptual Evaluation on Audio-visual Dataset of 360 Content
- International Conference on Multimedia and Expo 2022 / SenseLab, FORCE Technology, Nantes Universite, Meta Reality, Labs, DTU Electro / Audio-Visual
- Learning Lip-Based Audio-Visual Speaker Embeddings with AV-HuBERT
- submitted to Interspeech / Toyota Technological Institute, Meta AI / Audio-Visual
- Accented Speech Recognition: Benchmarking, Pre-training, and Diverse Data
epicure
veritas9872
terryum
hollobit
jwlee-ml
News
ArXiv
TRT-ViT: TensorRT-oriented Vision Transformer
실용적인 연구내용 공개로 유명한 중국 Bytedance의 연구
NVidia T4상에서 TensorRT 기반으로 ViT를 활용 서빙할 때를 가정한 것으로 보임
기본적으로 Conv + ViT hybrid 구조이며 Conv 모듈이 상당히 많고 ViT 안에도 1x1 / 3x3 / 1x1 으로 구성된 Bottleneck 포함
일단 Latency 나 정확도 그래프에서는 괜찮은데 최근에 나온 더많은 hybrid 모델(Mobile-Former, MobileViT)과의 비교나 왜 잘되는지에 대한 in-depth 분석은 아쉬움.
연구관점에서 매력도는 모르겠지만(특히 NeurIPS 제출이라면....) T4+TensorRT기반 서빙하는 기업들 (특히 이미지 인식류 스타트업)에게는 실용적으로 도움이 될지도.
Training Vision-Language Transformers from Captions Alone
MS에서 나온 캡션을 활용한 Self-supervised learning
ViT 백본은 MAE를 쓰기 때문에 class 정보를 쓰지 않음.
ViLT와 비교해보면 MIM loss가 추가
같은 크기에서 ViLT 보다 더 좋은 성능을 보인다고. 그런데 속도 비교는 없음.
눈여겨볼 연구들
ConvMAE: Masked Convolution Meets Masked Autoencoders