[20210502] Weekly AI Arxiv 만담

[jungwoo-ha]

• AI News
  • FSD의 길은 멀고도 험하다. https://www.foxbusiness.com/lifestyle/elon-musk-unsupervised-generalized-full-self-driving-work-isnt-there-just-yet
  • ML 논문 유형 meme https://www.facebook.com/groups/TensorFlowKR/permalink/1474178286256558/

• 화웨이의 GPT3 https://venturebeat.com/2021/04/29/huawei-trained-the-chinese-language-equivalent-of-gpt-3/
• NSCAI Executive Summary: https://www.nscai.gov/wp-content/uploads/2021/03/Final_Report_Executive_Summary.pdf
  • Part I: Defending America in the AI Era.
    • Defend against emerging AI-enabled threats to America’s free and open society
    • Prepare for future warfare.
    • Manage risks associated with AI-enabled and autonomous weapons.
    • Transform national intelligence. (AI를 적극적으로 활용해서 국가전체의 intelligence로)
    • Scale up digital talent in government. (정부, 국방 관점에서 AI전문가 확충 필요 - 어느나라나 비슷하네요 ㅎㅎ)
    • Establish justified confidence in AI systems.
    • Present a democratic model of AI use for national security (AI 활용의 신뢰가능성 보장)
  • Part II: Winning the Technology Competition.
    • Organize with a White House–led strategy for technology competition. (우리도.. 좀...)
    • Win the global talent competition. (더 강력한 국내 인재 양성, 해외 인재 흡수정책 하자는.. 아.. 큰일.. 우리도 Visa 이슈부터 빠르게 좀..)
    • Accelerate AI innovation at home.
    • Implement comprehensive intellectual property (IP) policies and regimes. (AI 공유 철학의 시대에 변화가 올지도..)
    • Build a resilient domestic base for designing and fabricating microelectronics. (AI 요소 기술-반도체 포함 해외 의존도 이슈)
    • Protect America’s technology advantages.
    • Build a favorable international technology order.
    • Win the associated technologies competitions. (AI가 전부가 아니다. 5G, 반도체, 바이오, 퀀텀등과 연계해야)
  • 한글요약 버전: KISA Report by 한상기 테크프런티어 대표
• ICLR 드디어 시작:
• SNU AI Retreat 2021
  • ArXiv
• RecSim NG: Toward Principled Uncertainty Modeling for Recommender Ecosystems
  • a scalable, modular, differentiable simulator implemented in Edward2 and TensorFlow.
  • https://github.com/google-research/recsim_ng
• Privacy-Preserving Portrait Matting
  • 상반신 image matting의 경우는 얼굴등 privacy 이슈가 존재함
  • 얼굴이나 identity 구분 가능한 부분을 blurr 처리한 데이터인 P3M-10k 공개하겠다고 함 (coming soon)
  • Trimap-based 외 Trimap-free 한 P3M-Net도 제안
• Experts, Errors, and Context: A Large-Scale Study of Human Evaluation for Machine Translation
  • 기계번역(꼭 여기만의 문제는 아니고요) 에서 사람평가는 품질관리에 아주 중요한 요소
  • 그런데 좀 여러가지로 헛점이 많음.
  • 구글리서치에서 훨씬 체계적인 사람평가 프로토콜, 메트릭 제안
• Inspect, Understand, Overcome: A Survey of Practical Methods for AI Safety
  • 독일 유수의 AI연구그룹 및 연구자들이 함께 책처럼 만든 서베이 자료
  • AI safety 와 관련하여 매우 폭넓은 연구주제들을 정리하고 있어서 그냥 공부하는 데 활용해도 될듯
  • 다만 각 섹션별로 아주 SOTA 들이 누락된 것들은 있긴함 (20년 이후 것들 제외)
  • 그럼에도 불구하고 전반적 흐름 잡는데는 꽤 유용할 듯 (단.. 분량 주의 94 페이지..)
• TabAug: Data Driven Augmentation for Enhanced Table Structure Recognition
  • 최근 OCR의 가장 실용적인 응용분야 테이블 인식
  • 이를 위한 augmentation 기법 제안
  • https://github.com/sohaib023/splerge-tab-aug
• How Well Self-Supervised Pre-Training Performs with Streaming Data?
  • Self-supervised training을 stream data 시나리오에서 수행
  • 그리고 transfer learning에 적용
  • 기존 practical 활용이 제한적이었던 continual learning이 좀더 practical 해 질것인가? 그런데 pretraining하는데 이걸 꼭 stream 형태로 pretraining할 이유가 있을까? 즉 모아서 한방에 하면 정말 안되나?
• https://arxiv.org/abs/2104.14314v1
  • 러시아의 NLU 벤치마크 성능에 대한 정확도외에 속도까지 비교하는 프레임워크
  • https://github.com/sberbank-ai/ru-gpts: 스베르방크에서 제공하는 러샤 GPT3
• What Are Bayesian Neural Network Posteriors Really Like?
  • Bayesian NN 관심많은 분들께 좋은 자료가 될 듯
  • approximated 된 학습기법 대비 full-batch 기반 HMC 썼을때 어떻게 달라지는가? 그리고 ensemble 류등도 비교.
• Ensembling with Deep Generative Views
  • latent code를 살짝 바꾸고 StyleGAN2 이용해서 다양한 view 이미지 생성 --> classsifier test-time ensemble에 적용
  • https://github.com/chail/gan-ensembling
• A Large-Scale Study on Unsupervised Spatiotemporal Representation Learning
  • Facebook 연구, CVPR 2021
  • 기존 Image 도메인의 대표 Self-supervised 를 다양한 아키텍처 조건등으로 video 에적용 (MoCo, BYOL, SimCLR, SwAV)
  • https://github.com/facebookresearch/SlowFast
  • 왜 study앞에 large-scale이 있을까...

[veritas9872]

Self-Supervised Learning과 Vision Transformer 관련 최신 논문 공유드립니다.

Facebook AI Research에서 Self-Supervised Learning을 통해 VIsion Transformer를 학습할 때 Labelled data가 없거나 매우 적더라도 explainable segmentation map을 생성하는 새로운 연구를 발표했습니다.

Labelled data를 사용하지 않고서도 interpretable segmentation map을 만들 수 있었다는 점이 연구의 가장 impacful한 부분이라고 생각됩니다.

또한, 기존의 Self-Supervised Learning보다 빠르게 수렴하는 PAWS 학습 방법 또한 발표했는데 labelled data가 적은 환경에서 학습해야 하는 분들께 도움이 될 것 같습니다.

Blog Post: https://ai.facebook.com/blog/dino-paws-computer-vision-with-self-supervised-transformers-and-10x-more-efficient-training/

DINO Paper: https://arxiv.org/abs/2104.14294 GitHub: https://github.com/facebookresearch/dino

PAWS Paper: https://arxiv.org/abs/2104.13963 PAWS GitHub: https://github.com/facebookresearch/suncet

[nick-jhlee]

• 05/04 오후 9시까지 SSBSE 2021 abstract 제출! (for SE people)

• 05/08 오후 4시: ICML 2021 final decision (for ML people)

• ICML 이거 약간 선넘...

  • "According to the current Meta-Review statistics, we need to raise the acceptance bar. Please coordinate with ACs on reducing about 10% of accepted submissions."
  • "...we plan to reduce the number of accepted papers. Please work with your SAC to raise the bar. AC/SAC do not have to accept a paper only because there is nothing wrong in it."

• 오 해결(?)된거 같기도...?

  • "Since @icmlconf clarified last night that ACs are not required to reject more papers, I'd like to encourage ACs to go back and consider accepting an innovative paper that was left behind. Be sure to identify reasons to accept a paper; don't focus entirely on reasons to reject it."

• Peter Richtarik 교수님이 쏘아올린 큰 공: Ideas for Improvement of the Review Process at Large ML Conferences

[nick-jhlee]

• 이루다 결국 1억원 과징금... http://www.aitimes.kr/news/articleView.html?idxno=20883

• NC소프트에서 AI Ethics에 관련하여 'AI Framework'라는 콘텐츠를 만들었네용 (feat. Prof. Fei-Fei Li of Stanford) https://blog.ncsoft.com/ai-framework-ep01-210429/

[nick-jhlee]

서울대 AIIS에서 하계 인턴 모집한대요~~ (모집안내글)

[hollobit]

공유 하루만에 527명 넘게 좋아요를 눌렀고, 163회 이상 공유된 “ML 논문 유형들” 만평에 대한 이야기를 해봐도 좋을 것 같아요

https://www.facebook.com/groups/TensorFlowKR/permalink/1474178286256558/

[nick-jhlee]

Geometric Deep Learning (~Erlangen program)

• https://geometricdeeplearning.com/
• Deep learning에서의 하나의 큰 도약(?)으로 기대
• 한 줄 summary: 딥러닝에서 흩어진 여러 methodology들을 symmetry 및 invariance라는 기하학적인 개념을 통해 하나의 programme으로 통합하자!!

[jshin49]

Knowledge Neurons in Pretrained Transformers

• Blog Post
• Knowledge 와 직접적으로 관련된 neuron (hidden unit) 에 대한 exploration
• fine-tuning 없이도 해당 neuron 에 저장된 정보를 read & write 할 수 있음

ZeRO-Infinity: Breaking the GPU Memory Wall for Extreme Scale Deep Learning

• Blog Post
• https://www.deepspeed.ai/
• New deep learning optimization library from Microsoft
• Extremely memory efficient: With just a single GPU, ZeRO-Offload of DeepSpeed can train models with over 10B parameters, 10x bigger than the state of arts, democratizing multi-billion-parameter model training such that many deep learning scientists can explore bigger and better models.
• Extreme scale: Using current generation of GPU clusters with hundreds of devices, 3D parallelism of DeepSpeed can efficiently train deep learning models with trillions of parameters.

We Need to Talk About Random Splits

• Random splits (and standard splits) consistently under-estimate error on new samples
• using biased splits better approximates real-world performance and can help determine what data characteristics affect performance.
• Instead of using multiple random splits, future benchmarks should ideally include multiple, independent test sets instead
• if infeasible, we argue that multiple biased splits leads to more realistic performance estimates than multiple random splits.

Generating Datasets with Pretrained Language Models

• show how large PLMs can be leveraged to obtain high-quality embeddings without requiring any labeled data, finetuning or modifications to the pretraining objective
• Creates datasets from instructions (replace human annotators with GPT2-XL)