[20211212] Weekly AI ArXiv 만담 - 33회차

News
- AI양재허브 2021 AI 콘서트
- 12월 15일 오후 1시 SETEC (학여울역)
- 로열모 창시자 + AI로봇 2,3호기의 AI Insight talk
- AI스타텁 이야기, 오픈이노베이션 대담, AI양재허브 자문위원들의 간단한 기술 트렌드 소개
- 서울대 모두를 위한 AI 강연
- 광주 AICON 2021: http://www.aitimes.com/news/articleView.html?idxno=141905
- AI도 특허발명자? 7개국 특허청 AI발명자 컨퍼런스: https://www.hankyung.com/it/article/2021120976891
- WS on ImageNet PPF @ NeurIPS 2021: 12월 13일 오후 8시 ~ 밤샘 웍샵!
Arxiv
- Deepmind LM 연구 3부작
- Scaling Language Models: Methods, Analysis, and Insights from Training Gopher
  - Deepmind에서 공개한 최대 280B 모델 Gopher (118페이지이므로 나눠서 보시길~), 100/124/152 태스크에서 SOTA
  - GPT2와 같은 autoregressive model. LayerNorm --> RMSNorm 대체, Relative position encoding 사용
  - SentencePiece tokenizer + Byte-level backoff for OOV
  - 300B token 학습에 활용 + 2048 window size --> GPT3와 같은 세팅, 큰모델은 메모리 이슈로 activation 과 parameter에 bfloat16 사용, Optimizer state를 위해서는 float32 쓰기를 권장
  - Appendix C에 있는 Lesson learned 가 학습하시는 분들께 아주 쏠쏠한 정보를 주는듯
  - 효율적인 훈련/인퍼런스를 위해 compression, pruning, reverse distill, sparse training 같은 걸 다 해봤는데 크게 재미못봤다.
  - 본문에는 SOTA외에 Toxicity 와 bias와 관련된 (심지어 dialog-prompt도) 분석을 많이함. 나머지 상세내용은 Appendix에서
  - 기타: https://ko.wikipedia.org/wiki/%EA%B3%A0%ED%8D%BC_(%ED%94%84%EB%A1%9C%ED%86%A0%EC%BD%9C)
- Ethical and social risks of harm from Language Models
  - Gopher와 함께 나온 LM의 윤리적/사회적 리스크에 대한 고려 사항 보고서
  - 무려 리더특성에 따른 친절한 가이드도 있음.
- Improving language models by retrieving from trillions of tokens
  - Retrieval + LM 으로 효율을 높이는 방법
  - 기존 RAG 스타일에서 시도하지 않았던 Retrieval 대상 DB의 token을 엄청 늘리고 LM 크기도 늘려봤다. Retrieval DB를 화끈하게 늘려야 성능이 확 오르는 듯
- HairCLIP: Design Your Hair by Text and Reference Image
- CLIP 을 활용하여 레퍼런스 이미지나 텍스트로 헤어스타일을 집중적으로 변환하는 모델
- 헤어칼라 interpolation 가능, 이미지 + 텍스트 description 가능, 스타일과 컬러별도 입력도 가능
- 역시 사람 얼굴을 그대로 유지하는 것은 여전히 숙제.. 어려운 얼굴각도도 숙제
- https://github.com/wty-ustc/HairCLIP
- Multimodal Conditional Image Synthesis with Product-of-Experts GANs
- NVidia Ming-Yu Liu 그룹의 새로운 I2I 모델 (아마도 GauGAN2 를 위한 모델?)
- 텍스트, segmentation map, 스케치 그리고 이들의 조합으로 실사 이미지를 생성
- https://deepimagination.cc/PoE-GAN/

AIFrendz 학회 출범식 (12/8)

https://www.hellodd.com/news/articleView.html?idxno=95189 https://www.youtube.com/watch?v=AvL-RMw1RtM AI 프렌즈 단톡방 링크: https://open.kakao.com/o/ggewxi2 AI 프렌즈 블로그 링크: https://aifrenz.github.io AI 프렌즈 홈페이지: https://aifrenz.notion.site

"내가 윤석열로 보이니"… 'AI 정치인' 선거 혁신인가, 민주주의 재앙인가

https://www.hankookilbo.com/News/Read/A2021120816460003987

후보 아바타를 활용한 선거운동, 정치 윤리에 부합하나
사실과 거짓 혼용된 정보 유통, 가짜뉴스 악용 그 책임은?
미국과 유럽은 선거 운동에 딥페이크 활용 엄격 제한
유럽연합 인공지능법 초안의 핵심은 '신뢰'

첨단 조작 기술(deepfake), 인공지능용 학습데이터 분야의 국면 전환 요소로 급부상

https://www.korea.kr/news/pressReleaseView.do?newsId=156485475 https://www.kipo.go.kr/kpo/BoardApp/UnewPress1App?a=&board_id=press&cp=&pg=&npp=&catmenu=m03_05_01&sdate=&edate=&searchKey=&searchVal=&bunryu=&st=&c=1003&seq=19322

첨단 조작 기술 기반 AI 학습 관련 특허출원 연평균 135% 이상 증가
특허청은 오는 14일(화) 13시 30분 딥페이크 기반 데이터 증강 기술에 대한 특허분석 결과를 산업계와 공유 세미나

美 중국 인공지능(AI) 기업에 대한 투자 금지

https://www.kdfnews.com/news/articleView.html?idxno=84108

미 상무부는 10일(현지 시간) 중국 인공지능(AI) 기업 ‘센스타임(상탕커지·商湯科技)'을 ‘중국 군산 복합기업 명단’에 올리겠다고 발표

하버드 연구진 “中, 10년 안에 AI·5G 등 핵심분야서 美 따라잡을 것”

https://biz.chosun.com/international/international_general/2021/12/10/PI3AVCZXFBFFBJ7JZR6L3FWJI4/

하버드대 케네디스쿨의 싱크탱크인 벨퍼센터(Belfer Center)는 최근 펴낸 '거대한 기술 경쟁: 21세기의 중국과 미국'(“Great Technological Rivalry: : China vs. the U.S. in the 21st Century)
- https://www.belfercenter.org/publication/great-rivalry-china-vs-us-21st-century
중국이 10년 안으로 △AI △5G △양자정보과학 △바이오기술 △반도체 △친환경에너지 등 21세기 핵심 기초 기술 분야에서 미국을 따라잡을 것이라며 이미 안면인식, 음성인식 핀테크 등 AI의 실용 분야에서 미국을 넘어섰다고 평가
중국은 2025년까지 과학과 기술공학, 수학 분야의 박사 학위 취득자를 미국보다 두 배 많이 배출할 것으로 예측
미·중 과학기술 전쟁, 2035년에 결판 난다 - https://www.joongang.co.kr/article/24103092#home

IBM Research, AI에게 기계 학습 모델 코딩을 가르치는 것을 목표로 하는 대규모 데이터 세트 'CodeNet' 소개

https://www.marktechpost.com/2021/12/10/ibm-research-introduces-codenet-a-large-scale-dataset-aimed-at-teaching-ai-to-code-for-machine-learning-models/

CodeNet은 본질적으로 AI 시스템에 코드 해석 및 개선 방법을 가르치고 개발자가 더 빠르게 코딩할 수 있도록 지원하기 위한 광범위한 데이터 세트
가장 큰 질문은 컴퓨터가 스스로 프로그래밍할 수 있습니까? AI 시스템이 코딩을 하게 하는 것??
1,400만 개의 코드 샘플로 구성되어 있으며 55개 이상의 다른 언어에서 총 5억 줄의 코드를 제공
C++, Java, Python 및 Go와 같은 현재 언어와 Pascal, FORTRAN 및 COBOL과 같은 이전 언어의 예가 포함 깃허브: https://github.com/IBM/Project_CodeNet 논문: https://openreview.net/pdf?id=6vZVBkCDrHT 참조: https://research.ibm.com/blog/codenet-ai-neurips-2021

신경망에 맬웨어를 숨길 수 있다고

https://bdtechtalks.com/2021/12/09/evilmodel-neural-networks-malware/ 관련 - https://arxiv.org/abs/2107.08590

AlexNet에 malware 삽입 시도 178MB 중 26.8MB의 malware 삽입. 정확도 1% 차이
모델의 정확도를 90% 이상으로 유지하면서 malware data 양을 36.9MB까지 늘릴 수 있었다고
VGG, Resnet, Inception 및 Mobilenet을 비롯한 여러 다른 CNN 아키텍처에서 이 기술을 테스트했으며 유사한 결과 얻음
악성코드 임베딩이 대규모 신경망에 대한 보편적인 위협일 수 있음을 보여줌

News
- 흥미로웠던 AI Summit(유료 행사라서 다시보기는 제공하지 않을 것 같네요ㅠㅠ)
  - 대기업+스타트업이 함께 만드는 AI생태계
  - 다양한 AI 비즈니스 사례와 노하우
  - 기술의 발전과 더불어 필요한 제도 및 윤리 장치도 함께 발전
  - 사회 속으로 더 깊게 들어온 AI
  - 제 한줄 요약은..
- Applying for a PhD in NLP
  - https://github.com/zhijing-jin/nlp-phd-global-equality
  - ACL에서 주관하는 NLP 연구자 멘토링 프로그램
- AI와 수학 연구
  - DeepMind claims AI has aided new discoveries and insights in mathematics
  - AI가 수학자들이 매듭 이론을 푸는 데 수학자들에게 도움이 되었다고 합니다
  - DeepMind’s AI helps untangle the mathematics of knots
  - “Getting the computer to seek out patterns takes the research process to a qualitatively different level.”
  - 어떤 데이터에서 AI가 패턴을 찾아내서 intuition을 연구자에게 제공하고, 연구자가 패턴을 타당하고 엄격하게 증명하고 정리로 이끌어내는 방식으로 연구 프로세스 혁신이 진행
- 재미있게 본 영상
  - Engineered Arts showcasing a new, very expressive humanoid robot design named Ameca
  - 휴머노이드 로봇의 facial emotion
  - 약간 섬뜩했습니다
arxiv
- Soundify: Matching Sound Effects to Video
  - 제목 그대로 사운드를 비디오와 매칭시키는 것에 대한 연구
  - CLIP으로 각 scene 안의 frame단위 image에 적용해서 main object와 ambient(배경)을 classifying해서 keyword로 뽑고 프레임 간격과 GRAD-CAM을 사용한 activation map에 따라 pan and gain한 사운드를 매핑..
  - 영상+소리 복잡도가 높은 영상(영화, 드라마, 뮤비같은)보다는 짧고 선명한 영상에 잘 어울릴 것 같습니다
  - UI까지 갖춘 기능이 있는 서비스네요! 해당 회사링크

CoLLA: Conference on Lifelong Learning Agents URL: http://lifelong-ml.cc/ Lifelong learning과 continual learning 등 지속적인 학습에 초점을 맞춘 새로운 학회가 생겼습니다. 내년 3월 1일까지 abstract 제출이니 관련 분야 연구하시는 분 참조 부탁드립니다.

Screenshot (3)

Simplifying Transformer Research with xFormers & Lightning

https://devblog.pytorchlightning.ai/part-i-simplifying-transformer-research-with-xformers-lightning-a715737b8ad4 Meta AI Research에서 xFormer 라는 새로운 Transformer library를 오픈소스했습니다. GitHub: https://github.com/facebookresearch/xformers 기존 여러가지 Transformer 구조들은 내부적으로 차이가 많고 GPU 최적화가 되어 있지 않았는데 새로 나온 NVIDIA Triton 및 kernel fusion 방법을 적용하여 최적화되었으면서 사용하기 단순한 라이브러리를 만들었습니다. Transformer 연구를 하시는 많은 분들께 도움이 될 것으로 생각됩니다.

Pushing the Frontiers of Density Functionals by Solving the Fractional Electron Problem

GitHub: https://github.com/deepmind/deepmind-research/tree/master/density_functional_approximation_dm21

DeepMind에서 양자역학의 영역까지 진출했습니다. 기존 분자에서 전자의 위치를 정확하게 판단하는 것은 근사 함수를 이용해서 계산을 했지만 새로운 데이터셋을 이용해 MSE loss를 이용해 전자의 위치를 계산하는 과정을 학습했습니다.

https://www.researchgate.net/publication/356914883_Pushing_the_frontiers_of_density_functionals_by_solving_the_fractional_electron_problem

Editing a Classifier by Rewriting Its Prediction Rules NeurIPS Link: https://papers.nips.cc/paper/2021/hash/c46489a2d5a9a9ecfc53b17610926ddd-Abstract.html

Screenshot (4)

Screenshot (1)

Madry Lab 에서 나온 NeurIPS 논문인데 classifier의 출력을 추가적인 데이터를 사용하지 않고 직접적으로 editing을 하는 방식입니다.

Screenshot (2)

Drivable GAN 방법에 기반해 ImageNet의 alternative class를 사용해서 background 정보와 text attack를 직접적으로 공략하는 방식입니다.

How Do Vision Transformers Work? [paper] [code and summary]

Vision Transformer(ViT) 및 multi-head self-attention(MSA)가 성공적인 이유는 long-range dependency를 모델링하기 때문이 아님을 보입니다. 구체적으로, 이 논문은 다음을 실험적으로 입증합니다.
1. MSA는 loss landscape을 평탄화하므로, 더 나은 일반화와 강건성을 얻을 수 있습니다 (Figure 1). long-range dependency는 오히려 loss를 non-convex하게 만들어 학습을 방해합니다.
2. Conv와 MSA는 서로 다르게 행동합니다. 예를들어, Conv가 high-pass filter인 것과 달리 MSA는 low-pass filter입니다. 따라서, 그 둘은 상호보완적입니다 (Figure 2). 전통적인 Transformer에선 MLP block이 Conv의 역할을 하므로, MSA block과 MLP block의 결합은 합리적인 귀결입니다.
3. MSA가 모델의 끝이 아닌 stage의 끝에 위치할 때 성능이 가장 두드러지게 개선됩니다 (Figure 3). 이는 multi-stage 모델은 여러 개별적인 모델을 선형 결합한 것처럼 행동하기 때문입니다.
이 발견들을 모두 고려함으로써 MSA와 Conv를 조합하는 단순한 디자인 규칙을 제시합니다. 이 규칙을 따르는 새롭게 제안된 모델은 전통적인 ViT와 달리, ImageNet은 물론 심지어 CIFAR와 같은 작은 데이터에서도 CNN의 성능을 상회합니다.

loss-landscape

fourier

architecture

CLeaR: Causal Learning and Reasoning URL: https://www.cclear.cc/2022 Causal learning등 지속적인 학습에 초점을 맞춘 새로운 학회가 생겼습니다. 이미 deadline은 끝났습니다만, 앞으로 커질 가능성이 많은 학회인 것 같습니다. (물론 전 개인적으로 causal의 c도 모릅니다...)

tentative conference 기간: Apr 11 - Apr 13, 2022

NL-Augmenter: A Framework for Task-Sensitive Natural Language Augmentation

여러 학교, 회사 소속 100명 넘는 저자 NLP의 data augmentation을 해주는 python framework 신청곡(X)논문(O)입니다. 다음주에 누군가 해주시면 감사히 듣겠습니다 ㅎㅎ

jungwoo-ha / WeeklyArxivTalk