[20220501] Weekly AI ArXiv 만담

[jungwoo-ha]

News

• Conference
  • ICLR 2023: 르완다! (케냐, 탄자니아 서쪽, 콩고민주공화국 동쪽)
  • HyperscaleFAccT CRAFT at ACM FAccT 2022
  • NeurIPS Affinity Group Workshop: 5월 27일 데드라인
• Large LM 이 과학연구에 끼칠 수 있는 영향
• NVidia H100 가격이.... $30,000 이상

Arxiv

• Flamingo: a Visual Language Model for Few-Shot Learning

  • Deepmind에서 공개한 prompt 기반의 in-context zero/few-shot learning이 가능한 visaul-text foundation model.
  • Visual encoder (Frozen NFNet: Normalization-free ResNet) + LLM (Frozen ChinChilla) + Perceiver Resampler + Gated cross-attention-dense layer 로 구성
  • Perceiver Resampler의 역할은 유동적인 input 크기 (이미지, 비디오)를 작은 크기의 latent dimension 으로 줄여서 LM의 입력으로 쓸 때 computational overhead 감소
  • Gated cross attention-ffw 는 Vision encoder-Perceiver Resampler를 통해 들어온 visual feature 를 Frozen LM에 잘 밀어넣기 위한 모듈로 초기엔 tanh gate에 의해 거의 0으로 시작 그리고 점점비중이 높아짐.
  • Pretraining data: ALIGN, M3W, LTIP, VTP 활용, In-context few-shot downstream 매우 다양
  • 크기는 3B, 9B, 80B, 3개 모델 모두 NFNet은 435M NFNet 사용, 80B이 경우 70B Chinchilla와 추가 파라미터 10B
  • 색깔 맞추기 대화 https://user-images.githubusercontent.com/11782739/166086527-424e3d73-2447-4fce-a3b0-62d295f00271.mp4

• 흥미있는 연구들

  • Why does Self-Supervised Learning for Speech Recognition Benefit Speaker Recognition?
  • 제목 그대로 음성인식용 SSL이 화자인식에 도움을 주는데에 대한 심도있는 분석: mask prediction loss, data 양, 모델 크기가 중요하더라.
  • Standardized Evaluation of Machine Learning Methods for Evolving Data Streams
  • 계속 분포가 변하는 데이터 학습 및 모델 성능 평가 프로토콜을 교통정리한 연구 (from U of Tuebingen)
  • https://github.com/haugjo/float
  • Generative Adversarial Networks for Image Super-Resolution: A Survey
  • GAN 기반의 SR연구에 관심있는 분들 입문서로 활용하시면 좋겠어요

[ghlee0304]

Arxiv

• SyntaSpeech: Syntax-Aware Generative Adversarial Text-to-Speech
  • IJCAI2022 / Zhejiang University / TTS
  • 샘플 URL : https://syntaspeech.github.io/
  • 저자들은 지속적으로 phoneme-level의 정보와 word-level의 정보를 이용해서 prosody를 향상 시키려고 함
  • 선행 연구
    1. PortaSpeech: Portable and High-Quality Generative Text-to-Speech / NeurIPS 2021 / baseline
    2. HiFiSinger: Towards High-Fidelity Neural Singing Voice Synthesis / Arxiv / multi-length discriminator
    3. [Gated graph sequence neural networks]() / ICLR 2016 / syntactic graph builder
  • Problem
    1. NAR-TTS의 경우 phoneme sequence를 입력으로 받기 때문에 문장의 문맥 구조 정보를 사용하지 않음
    2. 문맥 정보를 사용하지 않기 때문에 prosody 모델링 시 문제가 발생
    3. 기존의 문맥 정보를 추출하는 graph 기반의 모델은 AR-TTS에서만 적용이 되었음
  • Proposed Method
    1. 입력 문장에 문장 구조를 기반으로 syntax graph를 만들고 graph encoder를 이용하여 graphical feature를 생성
    2. graph encoder를 PortaSpeech에 넣어 syntactic feature를 추가하여여 duration과 prosody를 예측
    3. multi-length discriminator를 사용
  • Contribution
    • prosody prediction 향상을 위하여 트리-구조의 문맥정보를 효율적으로 사용한 첫 NAR-TTS 모델
  • 의문점 : 데이터셋의 dependency tree는 누가 만들지??
• Parallel Synthesis for Autoregressive Speech Generation
  • Arxiv / National Taiwan University / Vocoder
  • 샘플 URL : https://bogihsu.github.io/TASLP2021-Parallel/Demo/demo.html
  • 제목 때문에 거를 뻔 했지만 아이디어가 재밌는 연구
  • Problem
    • AR-Vocoder인 WaveNet, CARGAN 처럼 autoregressive로 만드는 vocoder의 음질이 좋지만 속도가 느림
    • AR 모델들은 이전 샘플을 이용하여 다른 샘플을 생성하는 것을 반복하여 전체 길이의 speech를 생성
  • Proposed Method
    • time domain 측면에서는 parallel 이지만 frequency domain 과 bit precision domain에 대해서 autoregressive
    • frequency-wise autoregressive generation (FAR)
      • speech를 주파수에 대하여 전체 대역(full-band) 을 8개의 부분 대역(sub-band)로 나눔
      • 이전 band 정보를 이용하여 다음 band의 정보를 복원하는 방법
    • bit-wise autoregressive generation (BAR)
      • mu-law quantization을 이용하여 1bit -> 8bit 로 복원하는 방법
  • Contribution
    • 새로운 방향으로의 효율적인 autoregressive 방법 제안
    • Post-filter를 이용한 음질 향상 방법 제안
      
      
      
• 흥미있는 연구들
  • Unaligned Supervision For Automatic Music Transcription in The Wild
    • Arxiv / Tel Aviv University (이스라엘) / AMT
    • 샘플 URL : https://benadar293.github.io/
  • Pseudo strong labels for large scale weakly supervised audio tagging
    • ICASSP2022 / Xiaomi / audio tagging
    • 코드 URL : https://github.com/RicherMans/PSL
  • SSL 관련 논문들
    • Why does Self-Supervised Learning for Speech Recognition Benefit Speaker Recognition?
    • Masked Spectrogram Prediction For Self-Supervised Audio Pre-Training
    • Masked Spectrogram Modeling using Masked Autoencoders for Learning General-purpose Audio Representation
    • ATST: Audio Representation Learning with Teacher-Student Transformer

[veritas9872]

OpenGlue: Open Source Graph Neural Net Based Pipeline for Image Matching

Kaggle: https://www.kaggle.com/datasets/ksork6s4/openglue Arxiv: https://arxiv.org/abs/2204.08870 GitHub: https://github.com/ucuapps/OpenGlue

Understanding The Robustness in Vision Transformers

Arxiv: https://arxiv.org/abs/2204.12451 GitHub: https://github.com/NVlabs/FAN

[hollobit]

ISO/IEC JTC 1/SC 42(Artificial Intelligence) plenary week (4/18 ~ 4/30)

https://www.iso.org/committee/6794475.html

• 참여자 240명, 11개 표준 제정, 26개 표준 개발 중
  • 3개 timezone rotation : 아침6시, 오후14시, 오후22시
  • WG1: Foundational. WG2: Data, WG3 : Trustworthiness, WG4: Application, WG5: Computational Approach
• 선도그룹: 미국, 중국, 일본, 영국
  • JWG 2 활동 시작: Testing of AI-based system (영국, 한국)
• 추격그룹: 인도, 프랑스, UAE
  • UAE: "Standards for Unsupervised Learning" - unsupervised + RL + decision transformer"
  • UAE: "Standards for Explainability in AI"
  • 인도 : verification and validation analysis of AI systems"
  • 프랑스 : AG3
• 배후세력

Google FormNet

https://ai.googleblog.com/2022/04/formnet-beyond-sequential-modeling-for.html

• ACL 2022 에서 발표된 “ FormNet: Structural Encoding Beyond Sequential Modeling in Form Document Information Extraction ”
• 문서 정보 추출을 위한 양식의 차선의 직렬화를 완화하기 위해 FormNet이라는 구조 인식 시퀀스 모델을 제안
• Rich Attention ( RichAtt ) 메커니즘, ETC(Extended Transformer Construction) + BERT, 다국어 어휘, OCR, GCN
• CORD 벤치 마크에서 F1 score

[jwlee-ml]

DeiT III: Revenge of ViT (밀린 숙제)

• https://arxiv.org/abs/2204.07118
• ViT 계의 ResNet strikes back 같은 논문
• 흥행에는 실패한 것 같기도?
• 몇가지 Training Technique을 활용해서 vanilla ViT 성능을 끌어올린(쥐어짠) 논문
• 사용한 방법들 Stochastic Depth, LayerScale, Binary Cross Entropy, Data Augmentation, Croping