[20220724] Weekly AI ArXiv 만담 - 60회차

[jungwoo-ha]

News

• 학회소식
  • NeurIPS 2022 리뷰가 곧 나옵니다.
  • NeurIPS 2022 Social 신청 많이 해주세요.
  • KCCV 2022: 8월 8일 ~ 11일 (10일까지 오프라인 코엑스, 11일은 워크샵 온라인)
• Amazon의 ambient intelligence
• 구글, AI 람다 '지각 능력' 폭로한 개발자 해고

ArXiv

• Scaling Laws vs Model Architectures: How does Inductive Bias Influence Scaling?

  • 요즘 매우 다양한 Large LM 모델 구조가 있는데 모델 구조가 Scaling up하는데 영향을 줄까? (from Google Research)
  • 그래서 Inductive bias (모델구조) 가 scaling up 시에 어떤 영향을 주는 지 엄청난 실험으로 분석
  • Vanilla Transformer를 포함한 최근 Transformer variants들, DConv, Ensemble들 비교
  • 결론
  • Scaling 은 역시 Vanilla Transformer가 젤 잘되는 것 같다.
  • 다른 구조의 Pretrain 성능이 Finetune 성능을 보장하는 것은 아니다
  • 작을 때 잘된다고 클 때도 잘되는 것을 보장하지 않는다. (Scaling 자체가 잘 안될 수도 있다)
  • 특히 Performer같은 O(n) 류 scaling이 잘 안되는 것 같다.
  • 저 동그라미 다찍는데 TPU를 얼마나 쓴거냐.. ㄸㄸ

• 흥미있는 연구

  • Omni3D: A Large Benchmark and Model for 3D Object Detection in the Wild
  • Meta AI에서 나온 3D 사물 인식 벤치마크!!
  • Formal Algorithms for Transformers
  • 딥마인드에서 나온 트랜스포머 공부자료
  • NUWA-Infinity: Autoregressive over Autoregressive Generation for Infinite Visual Synthesis
  • 무한 outpainting!!!!
  • https://nuwa-infinity.microsoft.com/#/

[veritas9872]

Scaffolding protein functional sites using deep learning https://www.science.org/doi/10.1126/science.abn2100 https://www.biorxiv.org/content/10.1101/2021.11.10.468128v1 https://www.microsoft.com/en-us/research/video/at-the-frontiers-of-science-exciting-advances-in-protein-design

Inpainting 방법론을 단백질 서열에 적용하여 생성모델과 유사하게 단백질을 생성하는 방법이 Science에 기재되었습니다. Microsoft의 후원을 받아 RosettaFold를 통해 생성된 단백질의 특성을 분석하고 이에 기반해 새로운 서열을 만들어나가는 방법론으로 현재 영상 영역에서 적용되는 GAN과 Diffusion model과 유사성이 큽니다. 앞으로 신약 개발에 많은 도움이 될 기술로 보입니다.

Theseus: A Library for Differentiable Nonlinear Optimization https://arxiv.org/abs/2207.09442 https://sites.google.com/view/theseus-ai https://ai.facebook.com/blog/theseus-a-library-for-encoding-domain-knowledge-in-end-to-end-ai-models/ https://github.com/facebookresearch/theseus

Meta에서 로보틱스 등 분야에서 기존의 non-linear optimization 방법론을 미분가능하도록 PyTorch 및 custom kernel을 사용해 새로운 라이브러리를 구현하고 GPU에서의 효율적 구현을 오픈소스했습니다. 기존에 Newton-Raphson 최적화 방법 등은 미분가능하지 않아 딥러닝과 같이 적용하기 쉽지 않았으나 Theseus를 통해 딥러닝과 같이 사용하기 편해질 것으로 보입니다.

Is Integer Arithmetic Enough for Deep Learning Training? https://arxiv.org/abs/2207.08822

Hwawei에서 나온 매우 흥미로운 논문인데 현재 딥러닝은 floating point number를 통해 학습을 진행하고 quantization 후 integer로 변환하는 방법을 사용하고 있지만 본 논문에서는 학습 중에도 integer arithmetic을 통해 연산을 했을 때 기존 방법과 유사한 성능을 보인다는 것을 보여줍니다. 일반적으로 integer arithmetic이 floating point arithmetic 보다 빠르다는 점과 연산 시 floating point는 결합법칙이 성립하지 않는다는 단점으로 인해 non-determinism이 발생한다는 단점을 고려할 때 많은 도움이 될 것 같습니다.

[ghlee3401]

Arxiv

• PoLyScribers: Joint Training of Vocal Extractor and Lyrics Transcriber for Polyphonic Music
  1. Source
     • TASLP (IEEE/ACM Transactions on Audio, Speech, and Language Processing) 제출 / National University of Singapore / Automatic Lyrics Transcription
  2. Sample
     • 샘플 URL : https://xiaoxue1117.github.io/TALSPsample/
  3. Problem
     1. ALT에서 보컬과 멜로디가 섞인 polyphonic music에서의 가사 자동 전사는 아직 어려운 문제로 남아 있음
     2. speech보다 발음(pronunciation)이나 운율(prosody)에 대한 variation이 높음
     3. 기존의 방법론은 singing vocal extraction을 먼저 수행하고 lyrics transcriber 를 수행하는데 두 방법을 각각 따로 학습하여 둘 사이의 mismatch가 발생하였음
  4. Method
     1. 이 논문에서는 vocal extraction과 lyrics decoding을 하나의 네트워크에서 수행하는 PoLyScribers를 제안
     2. end-to-end : Singing Lyrics Transcriber와 Singing Vocal Extractor를 모두 Transcription Loss로 학습
     3. data augmentation : singing voice와 음악, 노이즈를 random하게 섞은 가상 데이터로 추가로 사용
     4. extraction loss : 가상 데이터를 이용하여 singing vocal extractor를 extraction loss로 학습
     5. extraction loss를 이용한 모델을 PoLyScriber-L이라고 함
     6. vocal extraction을 위해서 residual U-net을 사용하고 Transcriber는 transformer 기반 사용
  5. DataSet
     • Segments and Transcriptions : https://github.com/xiaoxue1117/ALTP_chords_lyrics
     • Singing : https://ccrma.stanford.edu/damp/
     • 평가 데이터 셋
       • Hansen's Dataset : 35분 분량 (최대 4분 40초) | 3,590 words annotation
       • Mauch's Dataset : 1시간 19분 (최대 5분 40초) | 5,050 words annotation
       • Jamendo Dataset : 1시간 12분 (최대 4분 43초) | 5,677 words annotation
  6. Results
  7. Conclusion
     • vocal extraction과 lyrics transcription을 end-to-end 방식으로 jointly하게 학습하는 것은 이 논문이 처음
• Towards Transfer Learning of wav2vec 2.0 for Automatic Lyric Transcription
  1. ISMIR 2022 / National of Singapore / ALT
  2. Problem
     • ASR에서는 SSL을 이용한 pre-trained 모델이 있지만 singing domain에서는 데이터의 한계가 있음
  3. Method
     • speech 데이터로 wav2vec 2.0을 사전 학습하고, CTC loss를 이용하여 finetuning을 하고, singing data로 transfer learning을 수행
  4. Results
• MM-ALT: A Multimodal Automatic Lyric Transcription System
  1. ACM Multimedia 2022 / National of Singapore / ALT, Multi-task
  2. Problem
     • speech와 다르게 singing은 발음, 강세, 멜로디, 박자, 음색 등 다양한 표현이 포함되어 전사가 어려움
  3. Method
     • multimodal 로 극복하자
  4. Results

[hollobit]

대한의료인공지능학회 2022 summer school

https://www.kosaim.org/html/?pmode=inputList&smode=view&part=&intAcSeq=36

• 의료 인공지능 연구자 및 의과 대학생을 위한 교육 워크샵
• 8/12 ~ 8/13, 백범 김구기념관 컨벤션홀 (offline only)
• 사전등록 기간: 7/19 ~ 8/8
• 1일차: 인공지능 연구자를 위한 의학 개론, 2일차: Vision Transformer for Medical Image Analysis, HyperCLOVA, Deep Learning-based EEG Analysis

Foundational building blocks for AI systems

https://etech.iec.ch/issue/2022-03/foundational-building-blocks-for-ai-systems?fbclid=IwAR1T4wycBsit0CvsMnljujhyuNIBwtgdIXnkybI0ijwAzm96cFewluZXShE

• ISO/IEC 22989 - https://www.iso.org/obp/ui/#!iso:std:74296:en
• ISO/IEC 23053 - https://www.iso.org/obp/ui/#iso:std:iso-iec:23053:ed-1:v1:en