[20220424] Weekly AI ArXiv 만담 - 49회차

News

컨퍼런스
- ICLR 2022:
- 네이버 클로바 발표 스케쥴: https://naver-career.gitbook.io/en/teams/clova-cic/events/naver-clova-iclr-2022
- ML in Korea: https://naver-career.gitbook.io/en/teams/clova-cic/events/iclr-2022-social-ml-in-korea
CLIP ViT-L/14@336px checkpoint 공개!
LAION-5B: 최대규모 이미지-텍스트 공개 데이터

ArXiv

DiffCSE: Difference-based Contrastive Learning for Sentence Embeddings
- MIT, MIT-IBM 에서 나온 sentence embedding 연구 (NAACL 2022 메인)
- Constrastive learning을 통해 Sentence embedding 학습
- Dropout 기반 Transformer를 활용하는 SimCSE 에 마스크된 부분을 생성하고 생성된 문장과 원본문장 사이의 차이를 예측토록하는 difference-based CL도 함께 학습
- https://github.com/voidism/DiffCSE
Do Prompt-Based Models Really Understand the Meaning of their Prompts?
- Brown Univ 에서 나온 Large LM에서 prompt가 잘되는 것이 instruction 효과인가에 대한 고찰 (NAACL 2022)
- Prompt-based learning이 잘되는 것은 사람처럼 introduction에 의해 주어진 정보때문이라고 추정함.
- 실제로 그러한지를 실험적으로 검증해봄
- 결론적으로 말하면 instruction을 관련없거나.. 잘못해도 크게 상관없이 즉 prompt가 있기만 하면 few-shot 성능은 좋아지더라는...
- 그래서.. prompt의 instruction을 이해하는 것이 아니었다....
- https://openreview.net/forum?id=BhGMkxhZrW9: NAACL 2022 버전
흥미있는 연구
- StyleGAN-Human: A Data-Centric Odyssey of Human Generation
- 얼굴이 아닌 전신생성!! 선코드 후논문 (논문은 5월전에 나온다고..)
- SmartPortraits: Depth Powered Handheld Smartphone Dataset of Human Portraits for State Estimation, Reconstruction and Synthesis
- 대량의 스마트폰 비디오 상반신 데이터셋.
- Depth-Aware Generative Adversarial Network for Talking Head Video Generation
- Talking head 연구하시는 분들은 참고하면 좋을 듯?

Arxiv (Audio and Speech processing)

Cross-Speaker Emotion Transfer for Low-Resource Text-to-Speech Using Non-Parallel Voice Conversion with Pitch-Shift Data Augmentation
- Line (Japan) & Naver (Korea) / Data augmentation
- 샘플 URL : https://ryojerky.github.io/demo_vc-tts-ps/
- TTS를 위한 데이터셋의 variation이 부족할 때 voice conversion(VC)을 이용하여 데이터를 증강
- 예를 들어 target speaker는 neutral style만 있고 source speaker는 emotional speech가 있을 때, VC를 이용하여 target speaker의 style을 늘려주는 방식
- 이 논문에서는 VC와 pitch-shift (PS)를 이용하여 data augmentation하는 방법을 제시
- VC와 TTS를 하면서 특이한 부분들이 있음
  1. F0 sequence의 log-STFT magnitude를 이용한 regularization loss를 사용
  2. FastSpeech2 기반이면서 encoder는 4개의 Conformer blocks, decoder는 4개의 Transformer blocks으로 구성
  3. 평균 23 샘플의 dynamic batch size 를 이용
A Post Auto-regressive GAN Vocoder Focused on Spectrum Fracture
- Technical University of Munich (Germany) & Didichuxing (China) / Vocoder
- 샘플 URL : https://cookingbear.github.io/research/publications/garytts/index.html
- CARGAN Chunked Autoregressive GAN for Conditional Waveform Synthesis ICLR 2022
- Non-autoregressive vocoder에서는 부자연스러운 artifact가 발생
- CARGAN은 chunk 단위로 autoregressive 하게 waveform을 생성하는 모델로 HiFi-GAN 보다 좋은 성능을 보임
- 논문에서 제안하는 방식은 training 단계에서 generator 성능 향상에 쓰이고 infernece에서는 안 쓰임
흥미있는 연구
- FastDiff: A Fast Conditional Diffusion Model for High-Quality Speech Synthesis
  - Zhejiang University & Tencent AI
  - 샘플 URL : https://fastdiff.github.io/
  - 같이 봐야할 논문
    - LVCNet: Efficient Condition-Dependent Modeling Network for Waveform Generation - ICASSP 2021
    - BDDM: Bilateral Denoising Diffusion Models for Fast and High-Quality Speech Synthesis - ICLR 2022
  - diffusion 모델을 사용하여 inference 속도를 빠르게 하면서도 고품질의 음성을 합성할 수 있는 TTS 모델 제안
  - mel-spectrogram 없이 direct로 audio를 생성하는 모델
  - time-aware LVC (location-variable convolution)을 이용하여 다양한 dilation을 가진 convolution으로 speech 에서의 long-term time dependency를 학습할 수 있음
  - BDDM 논문에서 사용한 것처럼 noise schedule predictor를 이용하여 샘플링 스텝을 줄임
- BYOL for Audio: Exploring Pre-trained General-purpose Audio Representations
  - BYOL을 audio 데이터에 맞게 augmentation을 수행했다는 논문
  - viola (비올라) 라고 읽어야 할 듯
  - RRC (Random Resize Crop)
  - RLF (Random Linear Fader)
  - Mixup (random background sound)

Arxiv

Planting Undetectable Backdoors in Machine Learning Models

Screenshot (49)

제목이 흥미로운 논문을 공유해드립니다. UC Berkley 및 MIT에서 Neural Network에 cryptographic signature를 통해 Backdoored input을 만드는 방법을 제안했습니다. SSH와 같은 암호화 방식에서 사용되는 Private Key, Public Key를 적용하여 Private Key를 가지지 않은 외부 유저는 새로운 backdoor example을 만들 수 없도록 Neural Network를 만드는 방법을 제안합니다. 특징은 이런 방법론을 적용하더라도 외부 관찰자는 backdoor가 존재한다는 것을 확인할 수 없다는 점입니다. 아쉬운 점은 아직 실제 코드 사례가 제공되지 않았고 이론적 증명만 제시되었다는 부분입니다.

News
- 중국의 AI 연구기관 BAAI에서 논문을 표절했다?!
- Chinese Prominent AI Lab Plagiarizes Big Model Paper
- 표절해서 작성한 논문은 예전에 weekly arxiv에서 소개드셨던 'A Roadmap for Big Model'이라는 논문 제목으로, 수조 개의 파라미터를 구현 가능하다고 주장하며 'Brain-scale AI'라고 표현했던 그 연구
- 현재 Arxiv에도 페이퍼가 내려와있는 상황
- 표절당한 논문은 구글 브레인의 Deduplicating Training Data Makes Language Models Better라는 연구의 일부분
- 트위터에서도 구글 브레인의 연구자 Katharine Lee에 의해 알려졌고, Nicholas Carlini는 개인 홈페이지에 표절에 대한 근거와 의견 제시
- BAAI 홈페이지에 게재된 사과문 (중국어는 도저히 못읽겠어서 번역돌렸습니다)
- 한국의 자랑스런 AI 연구자들께서도 조심하세요..!!(표절 하시는 것도, 당하시는 것도!!)
MIT Technology Review의 AI Colonialism 에 대한 4개 아티클 시리즈
- 1편 : South Africa’s private surveillance machine is fueling a digital apartheid
- 2편 : How the AI industry profits from catastrophe
- 3편 : The gig workers fighting back against the algorithms
- 4편 : A new vision of artificial intelligence for the people
- 4개의 아티클 중에서 2편 : How the AI industry profits from catastrophe를 봤습니다
- 베네수엘라가 경제적으로 파탄을 맞이한 후, 크라우드 소싱으로 데이터 레이블링에 참여하는 사람이 늘었다. 그러나 그 후..
- AI 산업이 확장됨에 따라 많은 레이블링 작업이 필요했고, 재정이 어려운 베네수엘라 국민들이 많이 참여. 그러나 이는 레이블링 노동 착취로 이어졌다는 내용
- 레이블링 작업에 대한 비용도 정당하게 지급하지 않으며, 이를 지켜 줄 정부도 사실상 기능하지 않는 상태이기 때문에 외화를 버는 베네수엘라 국민들이 제도와 시스템의 보호도 제대로 받지 못함
- 이를 두고 옛날 산업혁명 시대와 제국주의 식민지 시대를 비유하여 표현한 듯
- 그 밖에 낙호님의 DALL-E 2 사진전 즐감 중..ㅎㅎ
- 최애 사진(출처 : 낙호님 페이스북)

News

KCC 2022 제출 미뤄졌어요!
- https://www.kiise.or.kr/conference/kcc/2022/
- 04/29까지...! (심사결과는 05/27에 발표)
- 워드/한글 파일로 제출하는거 너무 고통스럽...
NeurIPS 2022 제출!
- 05/16 abstract, 05/19 full paper, 05/26 supplementary (시간 확인은 각자..!)
교수 52.8% “교수 미래 어두워”…조교수는 ‘신분 불안’ 이직 고민

Arxiv (mostly ICLR preview)

CV, NLP

Autoregressive Image Generation using Residual Quantization (CVPR 2022)
- Kakao Brain, POSTECH CV Lab
- Github link 공개: https://github.com/lucidrains/RQ-Transformer
- minDALL-E의 업그레이드 버전!
  - 39억개 parameter, 30M text-image pairs for training
  - minDALL-E와 비교하여 모델 크기는 3배, train dataset 크기는 2배 늘림
- RQ-VAE: 3차원의 코드맵을 활용하여 이미지를 순차적으로 예측
  - VQ-VAE에서 'VQ -> 'RQ'
  - VQ는 image를 discrete code하나로 mapping, RQ는 image를 ordered codes로 mapping (coarse -> fine-grained)
- RQ-Transformer: RQ-VAE에서 나온 codes를 "잘" (i.e. effectively and efficiently) learn함
  - spatial transformer + depth transformer
  - computational cost, quality. 등 여러 방면에서 좋아짐
Exploring the Limits of Large Scale Pre-training (ICLR 2022 Spotlight)
- Google Research
- Systemic study of scaling of data/model size/training time in image recognition
  - >4800 exp (ViT, MLP-Mixers, ResNets), up to 10B param, >20 downstream iamge tasks
- 짧게: scaling (and hyper-parameter tuning) does not lead to a one-model-fits-all solution
- 길게:
  - As US acc. improves, DS acc saturates to values << 100% (-> power-law model for DS vs US performance)
  - Saturation behavior can be attributed to the way representations evovles through the layers
  - There exist extreme scenarios when US and DS are at odds!
  - ...etc
Fairness in Representation for Multilingual NLP: Insights from Controlled Experiments on Conditional Language Modeling (ICLR 2022 Spotlight)
- 단독 저자! (Ada Wan, University of Zurich)
- RQ: Are languages harder or easier to contextually language model by Transformer in light of their varying morphological complexity? (morphological: 형태학적)
  - Morphologically rich: Arabic and Russian, Morphologically poor: Chinese
- 짧게: NO! Performance disparity between languages is not due to morphological complexity, and thus, it is irrelevant in the context of computing.
- 길게:
  - Character/byte level: hardness is correlated with statistical properties concerning sequence length and |V | of a language, regardless of its morphological profile.
  - Word level: hardness is correlated with |V|, and a complexity hierarchy arises through the manual preprocessing step of word tokenization.
  - |V|: vocabulary size

(https://openreview.net/forum?id=-llS6TiOew)

Theory

SGD with a Constant Large Learning Rate Can Converge to Local Maxima (ICLR 2022 Spotlight)
- University of Tokyo, ENS PSL, UC Berkeley
- 말 그대로, 학부때 배우는 SGD가 배신함!
- 물론, theoretical paper답게, toy landscape를 고려함 (non-convex loss + multi-minima)
- Contributions:
  - SGD may converge to a local maximum
  - SGD may escape a saddle point arbitrarily slowly
  - SGD may prefer sharp minima over flat ones
  - AMSGrad may converge to a local maximum

Misc.

BigScience 176B Model
- Twitter에서 실시간으로(!) train progress가 공개됨!
- some details:
  - 176B parameters decoder-only architecture (GPT-like)
  - Multilingual: 46 languages, 341.6 billion tokens (1.5 TB of text data), Tokenizer vocabulary: 250 680 tokens
  - 384 A100 GPU with 80 Gb of memory each
  - checkpoint size: only the bf16 weights are 329GB, the full checkpoint with optimizer states is 2.3TB
  - very environmentally friendly...!
  - Jean Zay, the supercomputer we are using for model training, is mostly powered by nuclear energy
  - heat generated by the hardware even gets used for heating buildings on campus!
- ~~AI 연구자들의 주식~~

jungwoo-ha / WeeklyArxivTalk

[20220424] Weekly AI ArXiv 만담 - 49회차 #49

News

ArXiv

Arxiv (Audio and Speech processing)

News

Arxiv (mostly ICLR preview)

CV, NLP

Theory

Misc.