[20220814] Weekly AI ArXiv 만담 - 62회차

News

Conference
- COLING 2022: Notification (8. 16) - 경주에서 열려요 (10.12 ~ 17)
- AAAI 2023: 제출 기한 (8. 16) - 모두들 파이팅!
저커버그도 저격한 메타 ‘챗봇’의 도발…대략난감 AI
제안서와 보고서의 영원한 친구 가트너 Hype Cycle 2022 개봉

ArXiv

Semi-supervised Vision Transformers at Scale
- ViT를 Semi-supervised 로 학습하는 방법 연구 (from Amazon AWS)
- SSL (전체, MAE, DINO, MoCov3) --> 1% or 10% (label 데이터) --> Semi-SL (Unlabeled)
- Fixmatch와 거의 유사한 구성이지만 weak aug 입력 주는 곳에 EMA Teacher 를 사용
- 레이블 없는 데이터 aug로 pseudo mixup 제안
- ViT-Huge (632M) 1% 레이블 데이터로 Top-1 80% 찍음
Frozen CLIP Models are Efficient Video Learners
- Video action 인식하는데 Frozen CLIP을 활용하는 연구 (from CUHK와 여러 그룹, ECCV 2022)
- Frozen CLIP + frame단위 decoder (temporcal conv + cross-frame attention + pos 가 K, V로 CLS가 Q로)
- K-400 과 SSv2에서 속도/정확도 모두 상당함
흥미 있는 연구
- Stable diffusion 모델 공개: https://github.com/CompVis/stable-diffusion
- Text-to-image diffusion 모델 연구하시는 분들 중 check point 가 필요하신 분들은 이걸 사용하면 될 듯
- The Moral Foundations Reddit Corpus
- 도덕성과 관련된 reddit을 가공한 데이터: https://huggingface.co/datasets/USC-MOLA-Lab/MFRC
- Multi-Task Fusion via Reinforcement Learning for Long-Term User Satisfaction in Recommender Systems
- 제목그대로. 텐센트에서 나온 KDD 2022 논문

Patch-wise Deep Metric Learning for Unsupervised Low-Dose CT Denoising Arxiv: https://arxiv.org/abs/2207.02377v2 GitHub: https://github.com/jcy132/DML_CT

제가 석사과정 중 연구한 내용이 이번 MICCAI 2022에 Accept되었습니다.

본 연구는 아동의 내이에서 저선량 CT 영상을 촬영했을 때 저선량 영상의 퀄리티를 표준선량 영상과 동등한 수준으로 올리는 것이 목적입니다. 하지만 CT 영상은 환자에게 방사선 피폭이 발생하므로 paired training data가 존재하지 않아 unsupervised enhancement technique를 사용해야 합니다. 문제점은 generative model의 경우 hallucinated feature를 생성한다는 것인데 이를 방지하기 위해 wavelet transform을 적용하여 low-frequency structural information을 보존하고 high-frequency noise image에서만 학습을 진행합니다. 또한, 추가적인 leaning을 위해 image patch 사이에 embedding을 만들어 similar anatomical region 사이에는 attraction, dissimilar anatomical region 사이에 repulsion을 적용합니다.

Geometry of Deep Learning: A Signal Processing Perspective (Mathematics in Industry, 37) https://link.springer.com/book/10.1007/978-981-16-6046-7 https://www.amazon.com/Geometry-Deep-Learning-Perspective-Mathematics-ebook/dp/B09PQJZV8H

Arxiv (Audio and Speech Processing)

DDSP-based Singing Vocoders: A New Subtractive-based Synthesizer and A Comprehensive Evaluation
1. Keyword : Vocoder, DDSP
  - 코드 : https://github.com/YatingMusic/ddsp-singing-vocoders/
  - 샘플 : https://ddspvocoder.github.io/ismir-demo/
2. Probelm
  1. singing voice를 위한 보코더의 경우 glitches가 발견되었음
  2. singing voice는 speech에 비해 상대적으로 데이터 셋이 부족함
3. Goal : 적은 양의 데이터로도 고품질의 singing voice를 생성하는 DDSP 기반의 새로운 보코더(SawSing)를 제안
  - DDSP : Differentiable Digital Signal Processing의 약자로 NN(Neural Net)과 DSP를 결합한 연구
4. Method
  - 기본적으로 DDSP의 구조를 따르지만, harmonic synthesizer를 수정하였음
    1. harmonic component를 sawtooth signal을 이용하여 1차 예측
    2. 예측한 signal을 "exication signal"로 다루고 원하는 harmonic 성분을 얻기 위하여 LTV-FIR filter를 취함
    3. noise 부분은 DDSP에서 하는 방법으로 그대로 사용
    4. DDSP loss에서 multi-resolution STFT(MSSTFT) loss에 log F0 loss를 추가하여 학습
5. Results
  1. Baseline
    - DDSP-Add : DDSP 원래 논문에서 제안한 방법을 additive-based DDSP로 기록
    - DWTS (differentiable wavetable synthesizer)
    - NSF (Neural Source Filter 기반 보코더)
    - HiFi-GAN, PWG : GAN-based vocoder
    - FastDiff : diffusion based vocoder
  2. Datasets
    - MPop600 : 연주가 없는 Mandarin singing voice (남, 여 각 150곡, 3시간 30분 분량)
      1. Regular : 각 가수마다 3시간 분량의 학습 데이터로 2.5일동안 학습
      2. Resource-limited : 3분 분량의 데이터로 3시간동안 학습
  3. Objective Results
    - MAE (Mean Absolute Error) in F0
    - FAD (Frechet Audio Distane)
    - MSSTFT와 FAD 는 SawSing이 가장 좋고 F0의 경우에도 대체로 좋은 모습을 보임
  4. loss and MOS Results
    - loss의 경우 FastDiff, NSF 는 불안정한 모습을 보여주고 PWG는 overfitting하는 모습을 보여줌
    - 대체로 SawSing은 안정된 loss를 보여줌
    - Figure3에서는 SawSing이 NSF나 DDSP-Add에 비교하여 비슷하거나 조금 떨어지는 느낌이지만, 데이터 셋의 양이 현저히 적을 경우 성능이 대체로 유지되는 경향을 보임
    - MOS가 떨어지는 이유는 unvoiced 구간에 buzz한 음성이 들리기 때문으로 보임
Towards Cross-speaker Reading Style Transfer on Audiobook Dataset
1. Keyword : Style Transfer
  - 샘플 : https://thuhcsi.github.io/is2022-cross-speaker-reading-style-transfer/
2. Problem : reference 음성의 스타일을 target 음성으로 전이 시키는 기존의 cross-speaker style transfer은 local 혹은 global style에 신경을 썼지만, 오디오북의 음성은 local prosody와 global genre 둘 다 영향을 받음
3. Goal : cross-speaker style transfer model on audio dataset, 즉, 오디오북의 화자 간의 국소적 발화 스타일 (local prosody)과 전역적 발화 스타일 (global genre)를 음색(timbre)은 유지한 채 변환하기 위한 방법을 제안
4. Method
  - Tacotron2를 backbone으로 사용하고 있음
    1. A chunk-wise multi-speaker multi-scale reference encoder
      - global-scale style embedding (GSE) vector, local-scale prosody embedding (LPE) 를 추출
      - reference audio를 하나가 아니라 여러개를 chunk 단위로 취하고 평균을 내어 사용
    2. Switchable adversarial classifiers for speaker timber and style disentanglement
5. Results
  - Dataset
    1. MST-Originbeat : neutral Mandarin corpus (1여자, 1남자) 5,000 utterances (총 10시간 이상 예상)
    2. DB : Mandarin dataset, 10,000 utterance (총 10시간 이상 예상)
    3. Audiobook_FM : Mandarin audiobook dataset (8 speakers, 2 genres (동화, 중국 무술)) -> 3에서 2 개의 장르로 global genre label을 동화, 중국 무술로 두고 1, 2 번 데이터는 neutral로 라벨링
  - Evaluation

News
- 'AI 주니어 때 알았더라면 좋았을 것들' 테리님 세미나!
  - 신청링크
  - 많은 관심 부탁드립니다! ㅋㅋㅋ
- 프로젝트 CETI(Cetacean Translation Initiative)
  - ML을 활용해서 향유고래의 소리 및 신호 번역을 위한 프로젝트
  - 동물 중에서 상당히 정교한 커뮤니케이션을 하는 향유고래는 딥러닝을 활용해 연구가 가능할 것이라는 믿음
  - 여러 공학자, 해양생물학자가 함께하는 프로젝트
  - 출생부터 도축까지 돼지 울음소리 분류
  - 그동안 알기 힘들었던 동물의 감정을 ML을 통해 조금씩 알아갈 수 있을까?

대한의료인공지능학회 summer school 성료 (8/12 ~ 8/13)

강의록 다운로드 : https://www.kosaim.org/html/?pmode=BBBS0007100001&smode=view&seq=127
10월 추계학술대회 예정 (10/13 ~ 10/14)

의료인공지능 기술 표준화 포럼 창립 (8/12)

의장 : 서울아산병원 서준범 교수
3개 분과 : 임상 데이터 분과(김휘영, 윤덕용), 산업 분과(최정필, 정규환), 표준 기술 분과(전종홍, 신수용)
향후 다양한 공개 활동 예정 : 10월 국제 표준/규제 세미나 등등
홈페이지 공개 및 멤버 등록 페이지 오픈 예정

jungwoo-ha / WeeklyArxivTalk