[20210815] Weekly AI ArXiv 만담

[jungwoo-ha]

• News

  • KDD 2021: 8.14 ~ 18
  • CUDA python
  • Code: https://github.com/NVIDIA/cuda-python/
  • Documents: https://nvidia.github.io/cuda-python/
  • Recommendation system KR 주요 정보 Notion
  • 인권위, "인격체 아닌 AI" 조사대상 아니다.
  • 국내 인공지능이 만든 특허와 관련된 논의 시작
  • Workshop on ImageNet: past, present, and future @ NeurIPS 2021
  • 최고 연구자들로 구성된 Invited talk line-up
  • 9월 18일까지 (5p 메인, 2p extended abs, published paper)
  • WACV 2022의 강력한 의지

• ArXiv

  • Mobile-Former: Bridging MobileNet and Transformer

  • MobileNet + Transformer (from MS)

  • MobileNet 파트 (이미지 입력), Transformer 파트 (random init embedding), 상호 연결파트

  • 크기보다는 연산량에 조금 더 포커싱 (77.9% --> 11.4M, 294M MAdds)

  • MicroNet: Improving Image Recognition with Extremely Low FLOPs

    • 초저 FLops와 latency가 필요할 때 MobileV3 x 0.nn 대신에 사용할 법 (ICCV 2021)
    • Micro-factorized DW conv + Dynamic Shift Max
    • ImageNet-1k Top1 62.5% 대 성능에 21M MulAdd, 2.5M 파라미터, 11ms
    • https://github.com/liyunsheng13/micronet (코드는 coming soon)

  • Resetting the baseline: CT-based COVID-19 diagnosis with Deep Transfer Learning is not as accurate as widely thought

  • Transfer learing 활용한 CT기반 COVID-19 예측 모델들의 성능평가 교통 정리

  • 논문에 reporting 된 결과들은 매우 overestimated 라고

  • CCD 데이터에 대해 5 fold cross-validation vs 8:2 training/val separation transfer learning 성능 비교

  • 결국 이러한 과잉성능 평가는 data 문제로 귀결

  • Data augmentation 은 도움이 된다고 함. (하지만 아주 약한 augmentation만 해봄)

  • Billion-Scale Pretraining with Vision Transformers for Multi-Task Visual Representations

  • Pinterest 의 Unifed embedding 을 ViT pretraining with 1.8B 으로 확장 (WACV 2021)

  • 1.8B 학습데이터 구축을 위한 process 포함

  • Multi-label classification 후 기존 Unfied Visual embedding에 적용

  • JFT-300M 나 IG-1B 데이터 없이 자체 대규모 데이터로 의미있는 성능

  • DEMix Layers: Disentangling Domains for Modular Language Modeling

  • MoE-PLM에서 Transformer block의 FFN 부분을 그냥 유니폼하게 쪼개는 게 아닌 domain 별로 할당. 즉 domain expert

  • domain은 data의 source로 구분 (annotation overhead X but source에따라 내용이 섞일 수는 있음).

  • Inference time에 flexible하게 FFN 활용

  • 같은 GPU 연산으로 훨씬 더 큰 모델의 효과를 활용 가능

  • Managing ML Pipelines: Feature Stores and the Coming Wave of Embedding Ecosystems

  • ML Pipeline 운영/관리에 관현 전반적인 구조화 설명 (From Stanford U. Applie, Uber AI)

  • 기존 Feature store 와 새로 떠오르는 embedding ecosystem 을 ML pipeline 관점에서 설명

  • Training data, Featurer / embedding store / downstream system 관점에서 두 시스템을 비교하고 각각의 challenge 들과 일부 이를 해결하기 위한 아이디어 제공

  • 구체적인 method는 없지만 ML pipeline 에 대한 개념잡기와 embedding ecosystem 운영 이해에 도움될 자료

[hollobit]

대한의료인공지능학회 2021 summer school - 성료

• https://www.kosaim.org/html/?pmode=BBBS0007100001&smode=view&seq=91

구글 인력·컴퓨팅 없이 알파폴드2 재현한 로제타폴드, 어떻게 가능했나?...연구 주도한 백민경 박사 발표 내용

• http://www.aitimes.com/news/articleView.html?idxno=140110

KAIST, 보건의료 분야 인공지능 활용 가이드 개발

• http://www.dhnews.co.kr/news/articleView.html?idxno=144155
• KPC4IR은 이번 가이드 개발을 위해 싱가포르국립대학교의 리스크공공이해연구소(National University of Singapore Lloyd’s Register Foundation Institute for the Public Understanding of Risk), 영국의 대표적인 과학 기술 비영리 기관인 센스 어바웃 사이언스(Sense about Science)와 함께 지난 1년 간 국제 공동연구를 수행
• 보고서 원문(한/영) - https://kpc4ir.kaist.ac.kr/index.php?document_srl=3402&mid=KPC4IR_Reports

북한, 미국 MIT 데이터로 X레이 AI 분석 기술 개발

• https://www.nkeconomy.com/news/articleView.html?idxno=4540

What to expect from OpenAI’s Codex API

• https://bdtechtalks.com/2021/08/13/openai-codex-api/

Watch out, GPT-3, here comes AI21's 'Jurassic' language model

• https://www.zdnet.com/article/watch-out-gpt-3-here-comes-ai21s-jurassic-language-model/

Overcoming the limitations of scanning electron microscopy with AI

• https://www.sciencedaily.com/releases/2021/08/210809144056.htm
• Super-resolving material microstructure image via deep learning for microstructure characterization and mechanical behavior analysis (npj Computational Materials)
• https://www.nature.com/articles/s41524-021-00568-8

AI ethics in the real world: FTC commissioner shows a path toward economic justice

• https://www.zdnet.com/article/ai-ethics-in-the-real-world-ftc-commissioner-shows-a-path-toward-economic-justice/
• whitepaper - https://law.yale.edu/sites/default/files/area/center/isp/documents/algorithms_and_economic_justice_master_final.pdf

[ghlee3401]

Arxiv

• Applying the Information Bottleneck Principle to Prosodic Representation Learning

  • Sample : https://patrick-g-zhang.github.io/pt/
  • Abstract
    • prosodic representation learning을 information bottleneck (IB) 관점에서 다룸
    • reference audio의 prosody를 frame-level로 추출하고 average pooling을 이용하여 phoneme-level, syllable-level, word-level순으로 acoustic feature를 만듦
    • bottleneck layer에서 VQ-VAE를 사용하여 acoustic feature에서 non-prosodic information (e.g., speaker, content)을 제외하고 prosodic representation을 만듦
    • bottleneck layer에서 input feature를 quantize해서 사용하고 quantize된 값들에 대한 dictionary를 학습하게 됨
    • 여기서 information bottleneck (IB)의 capacity가 dictionary 크기와 비례하고 capacity에 따라 prosodic representation이 달라짐

[Kyung-Min]

• Paper
  • AdamDGN: Adaptive Memory using Dynamic Graph Networks for Staleness Problem in Recommender System
  • 추천시스템에서 오랫동안 방문하지 않았던 유저들이 재방문했을 때 추천성능이 떨어지는 staleness problem을 다룸
  • Dynamic Graph Neural Networks로 유저들의 representation을 계산하고 메모리에 저장
  • 메모리는 deep cluster를 사용해서 clustering
  • Cluster assignment를 pseudo label 로 삼아서 self-supervised learning하고 centroid를 노드의 메모리에 추가
  • 오랫동안 유저들이 방문하지 않더라도 assign된 pseudo lablel에 따라 꾸준히 representation 업데이트
  • Amazon’s purchase review dataset에 테스트했을 때 기존 TGN, JODIE 보다 더 우수한 성능을 보임
  • Global-Local Item Embedding for Temporal Set Prediction
  • Temporal set prediction을 풀기 위해 사용자의 과거 history를 참고
  • Target user의 과거 history (local) + target user 외 전체 user들의 과거 history (global) 참고
  • local은 graph neural networks (DNNTSP)로 학습, global은 VAE로 학습
  • 모델 output은 Tweedie distribution으로 모델링
  • Set prediction 데이터셋에서 sota 성능