[20211030] Weekly AI ArXiv 만담

News
- Facebook has gone~ Meta has come!!!!
- State of AI Report 2021
- ICLR 2022 리뷰 데드라인 (사실상 화욜밤까지)
ArXiv
- P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks
- LM의 성능을 SOTA Finetuned LM 이상의 성능을 만들도록 하는 p-tuning.
- 그런데 작은 LM에선 효과가 별로 였고 어려운 태깅문제에서도 효과가 별로 였다고
- P-tuning 을 제안한 BAAI 그룹에서 v2를 반년만에 공개함.
- Layer별 (Multilayer prompt == deep prompt tuning) 추가 파라미터를 쓰고 학습한다는 측면에서 prefix tuning과 유사한 구조
- 작은 LM에서도 잘되고 태스크 다양성도 훨씬 넒어짐. 단 추가 학습 파라미터는 좀 더 많음. (추가 파라미터 최대크기는 3% 정도?)
- https://github.com/THUDM/P-tuning-v2 (아직은 껍데기만)
- Wav2CLIP: Learning Robust Audio Representations From CLIP
- CLIP을 distill 한 audio representation learning from NYU
- Audio + CLIP기반 text, image common embedding을 이용하여 audio downstream task
- VQGAN-CLIP을 이용해서 오디오-to-이미지 생성
- 코드: https://github.com/descriptinc/lyrebird-wav2clip
- NormFormer: Improved Transformer Pretraining with Extra Normalization
- Pre-Norm은 가라. LayerNorm 3개 정도는 써줘야지 from 페이스북 아.. Meta AI Research
- 그럼 어디다가? self-attention 뒤, SA의 head-wise scaling 뒤, 첫 FC layer 뒤
- 일단 수렴속도 가속화에도 도움이됨.
- 전체적으로 1.3B, 2.7B 정도의 실험결과. 더 큰 모델에서 실험은 필요해 보임
- 13B에서 모델 학습 불안정성은 상당히 개선하는 것 처럼 보임.
- 코드는: https://github.com/pytorch/fairseq/tree/main/examples/normformer
- Online Continual Learning on Class Incremental Blurry Task Configuration with Anytime Inference
- 좀더 현실적인 continual learning setup (i-Blurry) from NAVER AI Lab + GIST
- Disjoint와 blurry 양쪽 한계 해결: 태스크마다 클래스를 share도 하지만 태스크마다 완전히 처음보는 클래스도 등장 (class incremental blurry)
- Task 끝나는 시점에서 평가를 하지만 사실 우리는 task가 끝나는 걸 모름. 그래서 anytime inference가 필요
- 그러다보니 Avg accuracy 형태가 아닌 accumulated acc 형태의 새로운 메트릭이 필요.
- Sample 단위 중요도 + adaptive LR 스케쥴링
- Solving Math Word Problems
- 수학문제 풀이를 위한 GPT-3 Finetuing from OpenAI
- GSM8k dataset 을 함께 공개: 8천개의 다양한 등급(학년) 언어로 표현된 고퀄 수학문제
- 그냥 파인튠으로 하면 아무리 커도 안되는 데 test time에 여러 솔루션들 중 랭킹을 매기는 verifier를 도입해서 문제 해결
- GSM8k data: https://github.com/openai/grade-school-math

News
- 넷마블에프앤씨, 메타버스 자회사 '메타버스엔터테인먼트' 설립
  - 넷마블에프앤씨와 카카오엔터가 협업
  - 최근 넷마블에서 나인엠인터렉티브을 인수
ArXiv
- DelightfulTTS: The Microsoft Speech Synthesis System for Blizzard Challenge 2021
  - Microsoft
  - Blizzard Challenge 2021 : 자연스러운 고품질의 음성을 합성하는 것이 목표
    - https://www.cstr.ed.ac.uk/projects/blizzard/2021/
    - 스페인어 데이터셋 (5h)
    - Microsoft 내부데이터 추가로 사용 : European Spanish (40h), Mexican Spanish data (40h).
  - Acoustic model로 16kHz의 mel-spectrogram을 추출하고 HiFiNet으로 48kHz의 음성을 만듦
  - reference encoder를 이용하여 utterance-, phoneme-level의 prosody를 예측
  - 개선된 Conformer block을 사용하여 추출
  - 샘플 URL : https://cognitivespeech.github.io/delightfultts
- Chunked Autoregressive GAN for Conditional Waveform Synthesis
  - ICLR 2022 리뷰 중
  - non-autoregressive vocoder의 경우 pitch와 phase 예측에서 에러가 발생하여 artifact가 발생
  - chunk 단위로 생성된 음성을 재사용하여 속도를 빠르게 하면서 autoregressive model의 장점을 살림
  - CARGAN 제안 : GAN-TTS의 generator와 HiFi-GAN의 discriminator를 수정하여 사용
  - 코드 : https://github.com/descriptinc/cargan
  - 샘플 URL : https://www.maxrmorrison.com/sites/cargan/
- VISinger: Variational Inference with Adversarial Learning for End-to-End Singing Voice Synthesis
  - ICASSP 2022에 제출 중
  - 가사와 악보로부터 직접 waveform을 만드는 모델
  - Conditional Variational Autoencoder with Adversarial Learning for End-to-End Text-to-Speech (VITS) 에서 영감을 받아 architecture를 거의 동일하게 사용
  - normalizing flow 기반 prior encoder를 사용하고 discriminator는 HiFiGAN의 discriminator들을 사용
  - end-to-end로 바로 waveform을 만들기 때문에 naturalness가 올라감
  - 하지만, normalizing flow를 사용하기 때문에 학습이 오래 걸릴 것으로 보이고 합성된 샘플에서 WaveGlow에서 나타났던 horizontal noise가 발생하는 것으로 보임

행사 소개

Conference on the Mathematical Theory of Deep Neural Networks가 곧 virtual로 열려요... (11/4~11/5) https://deepmath-conference.com/ registration deadline: 11/4까지!
- Theoretical ML/DL에 관한 최신 트렌드를 알 수 있는 작은 conference!
- SGD, Implicit Regularization, Learning dynamics... 등등
한국인공지능학회ㅣ LG AI연구원 추계공동학술대회가 곧 virtual로 열려요... (11/4~11/5) http://aiassociation.kr/Conference/ConferenceView.asp?AC=0&CODE=CC20210801&CpPage=123#CONF registration deadline: 11/3까지!
- Prof. Honglak Lee, Prof. Roger Grosse, Prof. Neil Lawrence!! 초청/기조 강연
- KAIST, Yonsei, Chung-ang AI 대학원 교수님들 참여
- 등등

논문들

Learning in High Dimension Always Amounts to Extrapolation (arXiv 2021)
- FMeta-AIR & NYU (feat. LeCun 아저씨)
- "Universal approximation is the reason for success" ==> Hell no! Curse of dimensionality?? ==> Really?
- Definition. interpolation은 이미 있는 데이터 sample들의 convex hull안에 있는 새로운 sample을 가지고 놀 때이다...
- 근데 dimension이 크면 (당연히) x in conv(X)일 확률은 0으로 수렴한다... ==> 사실 우리가 interpolation이라고 하는건 다 extrapolation이었다...
- 결론: " the behavior of a model within a training set’s convex hull barely impacts that model’s generalization performance since new samples lie almost surely outside of that convex hull"
- My (and many other people's) opinions:
- 근데... interpolation의 정의가 저렇게 linear해도 되는건가용,,,
- nonlinear (Riemannian) data manifold? linear separability를 고려하면 convex hull 필요없? probabilistic models?
- 궁금하신 분들은 논문이랑 LeCun옹의 twitter ㄱㄱ해보세용! (특히 ~~논란과 별개로~~ 논문은 잘 쓰여져 있어서 한번 읽어보시는거 추천드립니당...)
An Investigation into the Role of Author Demographics in ICLR Participation and Review (ICLR Openreview)
- 저자 누군지 모르겠지만, 추정: MIT
- 여기 summary: https://twitter.com/HannesStaerk/status/1454473672404652040?s=20
- 재밌는 부분들:
- author수가 많을수록 reviewer score가 더 높았다
- US의 acceptance rate가 East Asia의 rate보다 1.5~2배 정도 더 높았다
- Google, Facebook, Microsoft에 있으면 acceptance rate가 평균이상이었다.
- "Theorem"이 들어있으면 score가 0.34정도 더 높다.
- cf. [1] CMU/MIT/Cornell이면 deadline에서 1주이내에 arxiv에 올리면 score가 0.67 정도 더 높아진다... (a.k.a. arXiv effect)

[1] An Open Review of OpenReview: A Critical Analysis of the Machine Learning Conference Review Process - rejected from ICLR2021 yet got a positive review: "The paper should be brought to the attention of the various committees and made available somehow at the conference and acknowledged as a useful publication."

You Are the Best Reviewer of Your Own Papers: An Owner-Assisted Scoring Mechanism (NeurIPS 2021)
- UPenn (단독저자...!)
- Isotonic Mechanism을 제안
- Input: reviewer들의 raw score, author들이 생각하였을때 자신이 제출한 paper들의 ranking
- Output: adjusted scores (via solving a convex optim)
- 완전히 theoretical paper!
- 어떤 assumption하에, 저자들이 true ranking (i.e. 최대한 양심적으로)을 input으로 주어야 utility가 maximize된다는 것이 증명됨! (Theorem 1)
- Future work:
- paper의 개수도 variable
- utility function의 heterogeneity (현재는 모든 paper가 똑같은 utility func을 쓰고 있지만, 어떤 paper는 "그냥" 내는 것일 수도 있고 어떤 paper는 "갈아서" 내는 것일수도 있다...!)
Parameter Prediction for Unseen Deep Architectures (NeurIPS 2021)
- University of Guelph, Vector Institute, FMeta-AIR, McGill University
- 현재 framework에선, 다른 network를 train하면서 얻은 정보를 전혀 사용하고 있지 않음!
- ==> 큰 hypernetwork H를 다른 network에서 학습하여, 거기에 우리가 원하는 network를 넣어서 single pass!
- input: network weights, architecture
- output: optimized network weights
- Summary
- training (SGD, Adam..) 없이 model의 parameter를 예측!
  - ResNet-101, ResNet-152, Wide-ResNets, ViT...etc. & CIFAR10, CIFAR100, ImageNet,....etc.
  - CPU에서도 forward pass가 1초만에 가능함! (물론 train된 hypernetwork가 있다는 가정하에)
  - 실험들이 얼마나 좋은지는 제 수준에선 잘 모르겠네요 ㅠㅠㅠㅠ 도와주세요,,,
- NAS에도 적용함!
- 이걸 위해 새로운 dataset을 내놓음: DeepNets-1M
- https://threadreaderapp.com/thread/1452813952719761416.html
- Future work: 이렇게 나온 init을 theoretical하게 분석하는것도 상당히 흥미로울듯..? (~~저만 그런가요..~~)

Extra

Deep Ensembles as Approximate Bayesian Inference
- Bayesian DL 전문가이신 NYU의 Prof. Andrew Gordon Wilson의 blogpost
- 결론: For the good of science, please stop calling deep ensembles a “non-Bayesian” competitor to standard approximate Bayesian inference procedures
- 좀 더 정제된 결론:
  - There are no exact inference procedures in Bayesian deep learning.
  - Deep ensemble ~ numerical integration (feat. [1]) i.e. 이건 빼박 (approximate) Bayesian이다
  - Viewing deep ensembles as approximate Bayesian inference provides an actionable mechanism for improving the fidelity of approximate inference. For example, the MultiSWAG procedure [1], which performs Bayesian integration across and within basins of attraction, was directly inspired by this perspective and provides improved performance over deep ensembles.
- 밑에 ~~분노의~~ QnA를 보시면 재밌어요..! (특히 Bayesian에 관심 있으신분들 ㄱㄱ)

[1] Bayesian Deep Learning and a Probabilistic Perspective of Generalization (NeurIPS 2020)

쓸데없는 논문

Neurons in the mouse brain correlate with cryptocurrency price: a cautionary tale
- 쥐 뇌에서 bitcoin이랑 ethereum의 가격과 비슷한 trend를 display하는 neuron을 찾았대요!
- 40000 neuron중에 무려 70%나 significant correlation을 보였대요!
- True message: nonsense correlation를 조심하자! (causality의 중요성...)

STOC 2022 (ACM Symposium on Theory of Computing)의 author ordering에 대한 공고:

호오...

상-당한 뒷북

The Nobel Prize in Physics 2021 was awarded "for groundbreaking contributions to our understanding of complex systems" with one half jointly to Syukuro Manabe and Klaus Hasselmann "for the physical modelling of Earth's climate, quantifying variability and reliably predicting global warming" and the other half to Giorgio Parisi "for the discovery of the interplay of disorder and fluctuations in physical systems from atomic to planetary scales."

저 분 (Giorgio Parisi)의 spin glass theory 및 replica method (~~주변에 대학원 statistical physics 들은 분들께 여쭤보시면 뭔지 알려주실거에요 ㅎㅎ~~) 덕분에 70~90년대의 neural network theory에 상당한 영향을 끼침!
다른 쓰이는 곳: combinatorial optimization, graphical model, complex network theory...etc
원래 particle physics, quantum physics, astrophysics처럼 엄청 "순수"한 분야거나 semiconductors, microscope처럼 응용물리에서 항상 받아갔었는데, 이 statistical physics + network theory 분야에서 노벨상 나온건 처음이라 아주 역사적인 순간..

그냥 뭔가 이런 연구가 있었다는게 최신 deep learning과 large scale LM의 홍수에 잊혀지면 약간 슬플거 같애서 이렇게 소개해드려요,, (물론 저 홍수가 나쁘다는건 절대 아님다 ㅎㅎ)

https://www.youtube.com/watch?v=4WQwW6FrDGc

ISO/IEC JTC 1/SC 42(AI), 10월 총회 개최 완료 (Virtual Moscow, 10/18 ~ 10/30)

https://www.iso.org/committee/6794475.html

총 240여명의 참석자, 한국에서도 30명 넘게 참석

1개 AG 신설 결정, 25건의 표준 개발 논의, 3건의 신규 표준 개발 결정 (data life cycle framework, transparency taxonomy, Treatment of unwanted bias in classification and regression machine learning tasks)

FDA's Good Machine Learning Practice for Medical Device Development: Guiding Principles

https://www.fda.gov/medical-devices/software-medical-device-samd/good-machine-learning-practice-medical-device-development-guiding-principles

미국 식품의약국(FDA), 캐나다 보건부, 영국 MHRA(의약품 및 건강 관리 제품 규제 기관)는 GMLP(Good Machine Learning Practice) 개발에 도움이 되는 10가지 지침 원칙 공유

향후 IMDRF(International Medical Device Regulators Forum), 국제 표준 기구 및 기타 협력 기관이 GMLP 드라이브 전망

전체 제품 수명 주기 동안 다분야 전문 지식 활용

우수한 소프트웨어 엔지니어링 및 보안 사례 구현

임상 연구 참가자 및 데이터 세트는 의도된 환자 모집단을 대표

훈련 데이터 세트는 테스트 세트 와 독립적

선택된 참조 데이터 세트는 최적의 사용 가능한 방법에 기반

모델 설계는 사용 가능한 데이터에 맞게 조정되고 장치의 의도된 사용을 반영해야

인간-AI 팀의 성과에 초점이 맞춰야

테스트 시 임상 관련 조건에서 장치 성능을 보여줘야

사용자에게 명확하고 필수적인 정보 제공

배포된 모델의 성능 모니터링 및 재학습 위험 관리

Kicking off NIST AI Risk Management Framework

https://www.nist.gov/news-events/events/2021/10/kicking-nist-ai-risk-management-framework

인공지능 전지역·전산업 확산 추진방향 수립 (10/29, 과기부, 4차산업혁명위원회 발표)

http://www.aitimes.com/news/articleView.html?idxno=141256 https://www.korea.kr/news/pressReleaseView.do?newsId=156477670

과기정통부 17개 시·도 및 관계부처 합동 ‘인공지능 지역확산 추진방향’ 발표 -

지역경제 재도약과 디지털 대전환 가속화를 위한 초광역 협업 사업(프로젝트) - · (혁신거점) 광주 집적단지를 국가 인공지능 혁신거점으로 고도화 · (선도사업) 5대 권역별 강점을 반영한 대형 인공지능 사업(프로젝트) 기획 · (특화융합) 지역별 주력산업 혁신을 위한 인공지능 융합 확대

The Coming Convergence of NFTs and Artificial Intelligence

https://www.coindesk.com/business/2021/10/25/the-coming-convergence-of-nfts-and-artificial-intelligence/

3대 유형 : AI-generated NFTs, NFTs’ embedded-AI, AI-first NFT infrastructures

Expert warns that artificial intelligence could soon be able to 'hack' human beings

https://thehill.com/changing-america/respect/579196-expert-warns-that-artificial-intelligence-could-soon-be-able-to-hack https://www.dailymail.co.uk/news/article-10147617/Israeli-historian-Yuval-Harari-warns-humans-cooperate-stop-human-hacking.html

Harari의 주요 주제 중 하나는 인공 지능 알고리즘이 인간의 삶에 대한 영향력을 높일 때 초래할 수 있는 위험한 변화에 대해 사람들에게 경고하는 것

'Netflix는 우리에게 무엇을 봐야 하는지 알려주고 Amazon은 무엇을 사야 하는지 알려줍니다. 결국 10년, 20년 또는 30년 내에 그러한 알고리즘은 대학에서 무엇을 공부해야 하는지, 어디에서 일해야 하는지, 누구와 결혼하고 누구에게 투표해야 하는지 알려줄 수 있을 것입니다'라고 그는 말했습니다.

유일한 해결책은 데이터 수집을 규제하기 위해 국가들이 협력하는 것

Bruno Maisonnier, founder and CEO of AI firm AnotherBrain

We brought fire and people died from the fire, we brought nuclear and people died from that.

Each time we have the same reaction: First we fear and then we start to put the feedback and learn and put rules to get the positive out of this technology

The same goes with AI. The question is when do we have to set these rules?

Rules must be put but first, we must allow the evolution to happen.

jungwoo-ha / WeeklyArxivTalk