Closed jungwoo-ha closed 2 years ago
NeurIPS'21 paper 찾고 ICLR'22 paper 찾고 ICML submission 찾고... 이건 축복보단 저주에 가까운거 같네요 ㅎㅎㅎ,,,
NAVER AI, 그리고 저 @ AAAI 2022
ALP: Data Augmentation using Lexicalized PCFGs for Few-Shot Text Classification
Meta-Learning for Online Update of Recommender Systems
COVID-EENet: Predicting Fine-Grained Impact of COVID-19 on Local Economies
Fast and Efficient MMD-based Fair PCA via Optimization over Stiefel Manifold
arXiv (재밌는게 많지만.... 주변에 일들이 정리가 되면 한번 또 많이 하겠습니다 ㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎ)
Meta/Facebook AI Research (Balestriero, Misra, LeCun)
1줄 summary: DA를 너무 heuristic으로 생각하는데 한계가 있으니까, 이걸 수학적으로 분석하는 tool들을 제안!
Section 3.2, 3.3: DA as an L2 operator inducing change of function basis for image function "Data Space Transform"
Theorem 3.4: Explicit regularisation that is equivalent to using DA
Connection to TangentProp (NeurIPS 1991) 등등 여러 interesting한 discussion이 있습니당
cf. (왜 reference가 없는지는 모르겠지만...) 예전에 DA를 group-theoretic framework에서 분석한 논문: A Group-Theoretic Framework for Data Augmentation (NeurIPS 2020, JMLR 2020)
INRIA, Ecole Normale (Francis Bach)
Hamilton-Jacobi equations on graphs with applications to semi-supervised learning and data depth
University of Minnesota (Jeff Calder, Mahmood Ettehad)
semi-supervised learning at extremely low label rates (cf. Poisson Learning: Graph Based Semi-Supervised Learning At Very Low Label Rates)
Yonsei University, NAVER AI Lab (Namuk Park, Songkuk Kim)
ICLR 2022 Spotlight! (저번에 저자분이 직접 소개를 해주셨었죠 ㅎㅎ)
Book
arXiv 굿즈가 나왔네용 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ: https://www.bonfire.com/store/arxiv-official/
(솔직히 하나 가지고 싶네요)
- 200개 이상의 새로운 기술이 동계 올림픽에서 테스트되고 사용
- 40개 이상의 테스트 이벤트 심사에 참여하는 인공 지능(AI) 지원 심판 및 코치 시스템을 개발
- 전문적이고 정확한 AI 수화 통역
- AI로 선수의 경기력 향상
- 성과 데이터를 분석하여 훈련, 휴식 및 영양을 위한 개인화된 솔루션을 생성할 수 있는 AI 프로그램
- AI 기반 3D Athlete Tracking(3DAT)를 통해 경기 및 이벤트 중 팬에게 거의 실시간 데이터를 제공
- 중국 하얼빈 공과대학(HIT) 로봇 컬링 코치 - https://www.youtube.com/watch?v=P35i-1TjnAI&feature=emb_imp_woyt
- 버거와 다른 따뜻한 식사를 준비하는 AI 지원 셰프 봇
- 원두를 갈아 자바를 내리는 커피 로봇
- 실제 사람의 얼굴과 AI StyleGAN2 합성 얼굴을 구별하는 데 어려움
- 합성 얼굴의 평균 평점은 통계적으로 유의한 실제 얼굴의 평균 평점보다 7.7% 더 신뢰
- 이젠 기술적 안전 장치가 필요해지는 시점
- 그래픽 및 비전 커뮤니티가 연구원, 발행인 및 미디어 배포자를 위한 윤리적 지침을 통합하는 합성 미디어 기술의 생성 및 배포에 대한 지침을 개발할 것을 권장
News
mlcon 행사 소식
작년말 Weekly Arxiv 33회차에 How Do ViT work? 라는 연구를 소개해주셨던 남욱 님 ICLR 억셉되셨었네요, 늦게나마 축하드립니다!
Data-centric AI Resource Hub 사이트 오픈
arxiv (blog)
논문 & 블로그 "Does Your Dermatology Classifier Know What It Doesn't Know? Detecting the Long-Tail of Unseen Conditions", Roy et al., 2021. [Google Blog, arxiv]
문제 : 실제 진단을 하다보면 흔한 질환들도 있지만, 매우 드물게 발견되는 희귀 질환의 class가 매우 많다. 수백가지의 피부 질환이 전체 피부질환의 20%의 양을 차지하는 롱테일의 데이터 분포를 가지고 있다고 한다. (예를 들어 피부 질환을 다루는 이 논문에선 26개의 흔한 질환 class와 68개의 희귀 질환의 class(=샘플 수도 적음)를 사용하였다)
이들은 out-of-distribution (OOD) 문제로 해석되곤 한다. OOD 문제는 데이터셋 자체가 달라서 쉽게 알 수 있는 OOD 문제도 있지만 (e.g. CIFAR로 학습한 후 SVHN 데이터를 테스트 할 경우 OOD로 판별), 같은 도메인에서 의미만 다른 경우 (e.g. 피부병이지만 학습되지 않은 클래스의 피부병이 있는 경우 OOD로 판별)도 OOD 문제로 볼 수 있는데, 여기선 후자의 near-OOD detection 문제를 풀었다.
pretrained model을 만들 때도 위와 같은 loss를 적용해 pretraining을 하면 성능이 약간 향상되고, 거기에 ensemble까지 더 하면 또 성능이 향상된다. (prediction uncertainty가 있는 문제에서 ensemble은 늘 도움이 되는...)
평가 방법
: '많이 발견되는 질환이다'라고 예측을 했는데 틀리면 -1점 이지만, '희귀질환이다'라고 예측했는데 틀리면 -0.5점으로 했다. 이렇게 안하면 '많이 발견되는 질환'으로 찍는 것이 유리하기 때문에 희귀질환을 못맞추는 것이 제대로 evaluation metric에 반영되지 않을 수 있기 때문
테리 생각 : 사실 이 논문의 방법론이 매우 이론적으로 타당하거나 방법이 fancy해서 소개한 것은 아니다. 소개하고 싶었던 이유는 현실에서 발생하는 문제를 직접 접해보면 다양한 모델 아키텍쳐링을 하기 앞서 '문제 정의'와 '잘 예측했다'는 metric을 정의하는 것이 실제 문제를 푸는데엔 매우 크리티컬한 스텝임을 말씀드리고 싶었다. 머신러닝에는 기본적인 classification 문제도 있고, 아주 많은 클래스를 classifcication 하는 문제도 있고, OOD detection 문제도 존재하지만, 현실에서 발생하는 문제는 딱 하나의 문제 카테고리로 정의되지 않는 경우가 많다. classification과 detection 사이, detection과 segmentation 사이의 문제도 많고, 문제를 어떤 뷰로 보느냐에 따라 데이터 레이블링 과정 자체를 컨트롤 해야하는 문제도 있고, weakly supervised로 풀어야 하는 문제도 있으며, 다른 도메인 데이터를 가지고 transfer learning을 해야할 때도 있다. 많은 연구자분들이 정해진 문제에서 순위를 다투는데에만 힘쓰고, 이러한 논문을 보면 '뭐야, 시시한 방법 썼잖아'라며 무시하는 경우가 많은데, 실제 문제를 푸는데는 문제를 현명한 view로 바라보고 수학적으로 formulation 하며 제대로 된 evaluation metric을 적용해 "가장 간단한 모델을 적용해 보는 것"이 매우 큰 업적이라는 것을 말씀드리고 싶고, 그러한 현실 프로젝트를 기업과 많이 해보셨으면 하는 바람이다. 덧) 피부 관련해 재밌는 문제와 데이터들 ART Lab 많이 있어요. 연락주세요 :) terry@artlab.ai
arXiv merchandise 추가정보
원래는 이 가쉽 기사 소식도 다뤄 볼까 했었는데, 포브스에서 원소스 출처를 찾을 수가 없어서 소개하지 못했습니다. 남녀 커플 상태와 연애상담 예측을 해주는 인공지능이 나오면 대박일텐데 말이죠. http://www.itdaily.kr/news/articleView.html?idxno=206395
ArXiv
Predictability and Surprise in Large Generative Models
Anthropic 이라는 기업(?)에서 나온 초대규모 언어모델의 개발/서비스 적용에서 고려해야할 사항 정리한 논문
초대규모 언어모델의 특성 4가지
초대규모 AI를 개발하고, 운영하는 조직의 의사결정자, 정부관계자들이 읽어보면 좋을 교양서 느낌
HyperCLOVA가 국내에선 유일하게 소개됨.
![image](https://user-images.githubusercontent.com/11782739/154806721-047b4340-7083-4c50-bc96-7382f47f4c58.png)
Anomalib: A Deep Learning Library for Anomaly Detection
Intel에서 공개한 unsupervised anomaly detection 을 위한 SOTA모델들 pytorch-lightening 기반 공개 library + toolkit
실험 tracker, hyperparameter optimization, visualization까지 모두 포함한 툴킷
주로 이미지, 비디오 등 비전쪽이긴 한데 custom도 가능하다고
github: https://github.com/openvinotoolkit/anomalib![image](https://user-images.githubusercontent.com/11782739/154807254-984ff0f4-fecd-43f6-bfdc-3b25bf4da958.png)
Vision Models Are More Robust And Fair When Pretrained On Uncurated Images Without Supervision
작년 3월 SEER 논문의 확장 + 더 자세한 분석 + Societal 관점에서 모델/데이터 증가의 효과를 심층 분석 (from Meta AI)
논문 크기가 40MB (ㅡㅡ;;) 34페이지 (여유있게 받으세요)
RegNet: 1.5B --> 10B 까지 키움. 데이터는 IG 1B 그대로. 다만 데이터에 대해 훨씬 자세함
훈련 데이터 만들 때 GDPR 고려하고 지역적, 인종 같은 것들 함께 고려
Data distributed parallel 등 구체적인 분산학습에 대해서도 설명
결론은 인터넷 데이터를 쓰는 것이 지역, 인종, 성별 등에서 훨씬 fair하고 정확한 결과를 만들어 낸다고.
기존 large-scale self-supervised visual representation 과는 전혀다른 관점에서의 실험/분석. 중요한 의미가 있어보임
![image](https://user-images.githubusercontent.com/11782739/154806793-0fb16de1-04b8-4543-91b2-a52f7468a99f.png)
그외에 그냥 눈에 띈 논문
Design-Bench: Benchmarks for Data-Driven Offline Model-Based Optimization
MLP-ASR: Sequence-length agnostic all-MLP architectures for speech recognition
Learning Features with Parameter-Free Layers