[20220320] Weekly AI ArXiv 만담 - 44회차

[jungwoo-ha]

• News
  • Interspeech 2022 deadline: 3월 21일 / 28일 - 모두들 파이팅입니다.
  • AI미래포럼 1주년 웨비나: 차기정부 AI 국가전략: 30여개 질문 + 약간의 논쟁
  • New GPT-3 Capabilities: Edit & Insert
  • Stanford AI Index Report 2022: 다음 주 요거 특집으로 준비해보겠습니다.

• ArXiv

  • HyperMixer: An MLP-based Green AI Alternative to Transformers

  • Transformer 의 O(L^2) 문제 해결을 위해 MLP-Mixer 의 token mixing

  • MLP weight를 generation 하는 Hypernetwork 구조 (이거 잘 안되는데...)

  • 그래서 variable length input에 대한 처리 가능

  • 다양한 NLU task에서 정확도 유지하면서 계산량 이점을 취함 (Transformer 보다 낫고 MLP-Mixer나 gMLP 보다 나은듯)

  • cosFormer: Rethinking Softmax in Attention

  • SenseTime 에서 나온 Performer 류의 Kernel trick을 이용한 O(N) softmax approx. Transformer (ICLR 2022)

  • non-negative kernel (이라고 해도 $PI$ 대신 ReLU 쓴다는), cosine-based reweighting trick

  • NLU task와 Long-range arena에서 상당히 매력적인 성능을 보여줌.

  • 참고로 전 수식 많은 논문이 싫어요...

  • https://github.com/OpenNLPLab/cosFormer

  • 기타 흥미있는 연구

  • Scaling Up Your Kernels to 31x31: Revisiting Large Kernel Design in CNNs

  • OCR 패키지 from OpenMMLab

    • https://openmmlab.com/

  • SUPERB-SG: Enhanced Speech processing Universal PERformance Benchmark for Semantic and Generative Capabilities

    • https://github.com/s3prl/s3prl

  • Bamboo: Building Mega-Scale Vision Dataset Continually with Human-Machine Synergy

    • https://opengvlab.shlab.org.cn/bamboo/home

[ghlee0304]

• Arxiv (Audio and Speech Processing)
  • U-Singer: Multi-Singer Singing Voice Synthesizer that Controls Emotional Intensity
    • sample URL : https://u-singer.github.io/
    • arxiv / 한동대 / SVS, Emotion
    • summary : 감정을 모델링하고 강도를 조절 가능한 가창 음성 합성(SVS) 모델 제안
    • 통일된 공간(unified space)에서 여러 개의 attribute 들이 간섭없이 표현되도록 residual leaning을 수행
    • 기본적으로 Xiaoicesing,HiFiSinger의 구조를 가져감
    • pitch predictor와 duration predictor도 residual만 예측 (true값과 실제의 차이)
    • 감정 embedding을 가중치 합 방식으로 사용
  • SpeechFormer: A Hierarchical Efficient Framework Incorporating the Characteristics of Speech
    • arxiv, INTERSPEECH2022 (submitted) / South China University of Technology, UBTECH Robotics, iFLYTEK Research
    • 코드 : https://github.com/HappyColor/SpeechFormer
    • hierarchical 구조를 이용하여 speech 데이터를 효율적으로 모델링할 수 있다고 주장
      

[hollobit]

COMPUTE TRENDS ACROSS THREE ERAS OF MACHINE LEARNING

• Paper: https://arxiv.org/pdf/2202.05924.pdf
• Github: https://github.com/ML-Progress/Compute-Trends
• Article: https://www.infoq.com/news/2022/03/ml-compute-trends/
• Chart : (Estimated computation used in large training runs of AI systems)

  • 컴퓨팅 파워, 데이터 및 알고리즘의 발전은 현대 머신 러닝(ML)의 발전을 이끄는 세 가지 기본 요소
  • 123개의 역사적인 머신 러닝 시스템들을 선별하고, 이를 훈련하는 데 소요된 계산을 계산하여 분류
  • 3개의 트랜드 시기로 구분 : Pre-deep-learning(1952-2010), Deep learning(2010-2022), Large Scale (2015-022)
  • ML 시스템 학습에 필요한 계산량이 17-29개월마다 한 번씩 두 배가 였으나, 이후 전반적인 추세가 빨라지고 4-9개월마다 두 배씩으로 증가
  • 초기 ML 학습 계산량 증가치는 "트랜지스터 밀도가 2년마다 약 2배가 된다는 무어의 법칙"과 거의 일치했으나, 지금은 그것을 넘어섬
  • 이번 연구에서는 계산량에 대해서는 분석, 향후 작업에서 데이터 세트 크기의 추세와 컴퓨팅 추세와의 관계 분석할 것이라고 ...

Deep Neural Nets: 33 years ago and 33 years from now

• https://karpathy.github.io/2022/03/14/lecun1989/?fbclid=IwAR0BxDHCUXNfEWidZQw7l-FDOu7quPNdXBx2e10VwXU0VxA_N895EEqBlzM

  33년 전(1989년) 딥러닝 기술과 현재, 그리고 앞으로 33년 뒤(2055년)에 대한 전망 내용 33년 전(1989년)과 오늘날의 비교

  • 거시적으로는 33년 동안 크게 달라진 것이 없다. MLP와 BP 알고리즘의 확장 모델
  • 데이터 세트와 모델 파라미터 크기에서는 큰 차이
  • 33년전 웍스테이션에서 3일 걸렸던 모델이, 현재는 일반 노트북에서 90초만에 학습

33년 후(2055년)에 대한 전망

• 2055 신경망은 더 큰 것을 제외하고 기본적으로 거시적 수준에서 2022 신경망과 동일
• 현재의 데이터 세트와 모델 파라미터 크기와 비교해서는 10,000,000배 정도 커질 것으로 전망
• 현재의 최신 GPT-3 모델 정도도, 2055년 노트북에서는 1분 이내 학습시킬 수 있음

Multimodal Neural Script Knowledge through Vision and Language and Sound (CVPR 2022)

• Page: https://t.co/WkZ5LP3mMs
• Paper: https://t.co/BImN4I84CD
• Demo: https://t.co/8Au1NfMWyV
• Github : https://github.com/rowanz/merlot_reserve/

  • NeurIPS 2021d에서 발표했던 MERLOT:Multimodal Neural Script Knowledge Models의 후속 연구 -https://rowanzellers.com/merlot/
  • MERLOT Reserve는 비디오에 대한 질문에 답하기 위한 새로운 모델
  • 비디오와 질문이 주어지면 MERLOT Reserve는 객관식 옵션 목록에서 정답을 안정적으로 선택할 수 있음 -MERLOT Reserve는 비디오의 시각적 프레임, 비디오의 자막 및 비디오의 오디오를 공동으로 추론하여 이 예측을 수행 -사람이 라벨을 붙인 데이터 없이도 많은 간단한 비디오 이해 작업을 성공적으로 수행하는 데 사용할 수 있음
  • 2천만개 youtube 비디오, 10억 프레임의 데이터셋 활용 (2021년 MERLOT 모델은 6백만개 비디오 데이터)

AI suggested 40,000 new possible chemical weapons in just six hours

• Dual use of artificial-intelligence-powered drug discovery https://www.nature.com/articles/s42256-022-00465-9?fbclid=IwAR11_V1cd9SUxEvUfwrWMA7TUcroyYIY1nBDUL3KaS-8B4rG5MIqZCmjm0M (Nature Machine Learning)
• https://www.theverge.com/2022/3/17/22983197/ai-new-possible-chemical-weapons-generative-models-vx

  • 신약 후보물질 개발용 시스템으로 6시간을 돌렸더니 4만개의 새로운 독성 물질 후보를 만들어낼 수 있었다는
  • 우리가 AI 신약개발에 대해 고민하고 있지만, 신약개발보다 더 쉽게 독성 무기를 만들어낼 수 있다는 심각한 양면성 이슈
  • 이 문제를 어떻게 해결할 것인가 ?

[kimyoungdo0122]

• News
  • "부총리 참여 'AI 특위' 만들어 생태계 키워야"
    • AI 미래포럼 뉴스 요약
  • AI and Human Enhancement: Americans’ Openness Is Tempered by a Range of Concerns
    • Pew Research Center라는 곳에서 실시한 미국인들의 AI에 대한 인식 조사
    • AI application 중 미국 경찰의 안면 인식, 잘못된 정보를 걸러내려는 소셜 미디어 회사들의 알고리즘, 무인자동차, 인류의 육체 진화(?), 의료 및 생명공학에서의 AI 활용, 신체에 장착하는 로봇 골격(?) 등에 대해 조사
    • 성별, 연령, 학력 등 인구통계학적인 차이가 꽤 있어서 흥미로웠습니다.
    • Summary
    • ai의 긍정적인 효과를 기대하거나, 아니면 부정적인 결과를 우려하거나, 불확실성 자체를 의심하거나 등
    • 그럼에도 불구하고 ai가 현재 사회를 보다 더 발전시킬 것이라고 생각
    • 그래서 사람이 하는 것보다 더 높고 까다로운 수준의 기술 안정성 평가가 필요하다 생각
    • 자율 주행 차량에도 운전자가 있어야 한다는 의견이 더 많고, 아예 사람도 없는 무인 차량은 표시해야하는 등 사회에 녹아들기 위해 조치를 촉구하기도 함
  • 로봇 외골격(?) exoskeleton 부분이 재미있었다
  • 육체 노동자, 신체적인 장애가 있는 사람, 노인, 급한 순간에 무거운 구조물을 들거나 해야 하는 소방관이나 구조요원
  • 그러나 뇌에 칩을 심는 것처럼 자연 그대로의 인간을 무너뜨린다는 주장(윤리보다는 철학 이슈라고 봐야할지 ㅎㅎ)
  • 테리님께 질문있습니다! 로봇 외골격에는 어떤 ai task가 적용되나요..?

[nick-jhlee]

• International Congress of Mathematicians (July)

• Can Neural Nets Learn the Same Model Twice? Investigating Reproducibility and Double Descent from the Decision Boundary Perspective (CVPR 2022)

  • Univ of Maryland (Prof. Tom Goldstein), Rice University, NYU
  • We see empirically that the decision boundaries of a network have strong similarities across runs, (e.g. random init)
  • Decision boundary를 이용한 여러 deep learning에 대한 실험들!
    • double descent
    • label noise

• The difficulty of computing stable and accurate neural networks: On the barriers of deep learning and Smale’s 18th problem ( PNAS 2022)
  • University of Cambridge, University of Oslo
  • cf. computability (Gödel and Turing)
  • Smale's 18th question: Limits of intelligence?
  • Question: Why does DL lead to unstable methods and AI-generated hallucinations, even in scenarios where one can prove that stable and accurate neural networks exist?
  • There are well-conditioned problems where, paradoxically, mappings from training data to suitable NNs exist, but no training algorithm (even randomized) can compute approximations of the NNs from the training data.
  • Under specific conditions (e.g. MRI) fast iterative restarted networks (FIRENETs), converge exponentially in the number of hidden layers. Crucially, we prove that FIRENETs are robust to perturbations (Fig. 2, Bottom row), and they can even be used to stabilize unstable NNs.

Fig 2.