Closed jungwoo-ha closed 2 years ago
https://www.hellodd.com/news/articleView.html?idxno=95189 https://www.youtube.com/watch?v=AvL-RMw1RtM AI 프렌즈 단톡방 링크: https://open.kakao.com/o/ggewxi2 AI 프렌즈 블로그 링크: https://aifrenz.github.io AI 프렌즈 홈페이지: https://aifrenz.notion.site
https://www.hankookilbo.com/News/Read/A2021120816460003987
https://www.korea.kr/news/pressReleaseView.do?newsId=156485475 https://www.kipo.go.kr/kpo/BoardApp/UnewPress1App?a=&board_id=press&cp=&pg=&npp=&catmenu=m03_05_01&sdate=&edate=&searchKey=&searchVal=&bunryu=&st=&c=1003&seq=19322
https://www.kdfnews.com/news/articleView.html?idxno=84108
https://biz.chosun.com/international/international_general/2021/12/10/PI3AVCZXFBFFBJ7JZR6L3FWJI4/
https://bdtechtalks.com/2021/12/09/evilmodel-neural-networks-malware/
관련 - https://arxiv.org/abs/2107.08590
CoLLA: Conference on Lifelong Learning Agents URL: http://lifelong-ml.cc/ Lifelong learning과 continual learning 등 지속적인 학습에 초점을 맞춘 새로운 학회가 생겼습니다. 내년 3월 1일까지 abstract 제출이니 관련 분야 연구하시는 분 참조 부탁드립니다.
Simplifying Transformer Research with xFormers & Lightning
https://devblog.pytorchlightning.ai/part-i-simplifying-transformer-research-with-xformers-lightning-a715737b8ad4
Meta AI Research에서 xFormer 라는 새로운 Transformer library를 오픈소스했습니다.
GitHub: https://github.com/facebookresearch/xformers
기존 여러가지 Transformer 구조들은 내부적으로 차이가 많고 GPU 최적화가 되어 있지 않았는데 새로 나온 NVIDIA Triton 및 kernel fusion 방법을 적용하여 최적화되었으면서 사용하기 단순한 라이브러리를 만들었습니다. Transformer 연구를 하시는 많은 분들께 도움이 될 것으로 생각됩니다.
Pushing the Frontiers of Density Functionals by Solving the Fractional Electron Problem
GitHub: https://github.com/deepmind/deepmind-research/tree/master/density_functional_approximation_dm21
DeepMind에서 양자역학의 영역까지 진출했습니다. 기존 분자에서 전자의 위치를 정확하게 판단하는 것은 근사 함수를 이용해서 계산을 했지만 새로운 데이터셋을 이용해 MSE loss를 이용해 전자의 위치를 계산하는 과정을 학습했습니다.
Editing a Classifier by Rewriting Its Prediction Rules NeurIPS Link: https://papers.nips.cc/paper/2021/hash/c46489a2d5a9a9ecfc53b17610926ddd-Abstract.html
Madry Lab 에서 나온 NeurIPS 논문인데 classifier의 출력을 추가적인 데이터를 사용하지 않고 직접적으로 editing을 하는 방식입니다.
Drivable GAN 방법에 기반해 ImageNet의 alternative class를 사용해서 background 정보와 text attack를 직접적으로 공략하는 방식입니다.
How Do Vision Transformers Work? [paper] [code and summary]
Vision Transformer(ViT) 및 multi-head self-attention(MSA)가 성공적인 이유는 long-range dependency를 모델링하기 때문이 아님을 보입니다. 구체적으로, 이 논문은 다음을 실험적으로 입증합니다.
이 발견들을 모두 고려함으로써 MSA와 Conv를 조합하는 단순한 디자인 규칙을 제시합니다. 이 규칙을 따르는 새롭게 제안된 모델은 전통적인 ViT와 달리, ImageNet은 물론 심지어 CIFAR와 같은 작은 데이터에서도 CNN의 성능을 상회합니다.
CLeaR: Causal Learning and Reasoning URL: https://www.cclear.cc/2022 Causal learning등 지속적인 학습에 초점을 맞춘 새로운 학회가 생겼습니다. 이미 deadline은 끝났습니다만, 앞으로 커질 가능성이 많은 학회인 것 같습니다. (물론 전 개인적으로 causal의 c도 모릅니다...)
tentative conference 기간: Apr 11 - Apr 13, 2022
NL-Augmenter: A Framework for Task-Sensitive Natural Language Augmentation
여러 학교, 회사 소속 100명 넘는 저자 NLP의 data augmentation을 해주는 python framework 신청곡(X)논문(O)입니다. 다음주에 누군가 해주시면 감사히 듣겠습니다 ㅎㅎ
Arxiv
Deepmind LM 연구 3부작
Scaling Language Models: Methods, Analysis, and Insights from Training Gopher
Ethical and social risks of harm from Language Models
Improving language models by retrieving from trillions of tokens
HairCLIP: Design Your Hair by Text and Reference Image
CLIP 을 활용하여 레퍼런스 이미지나 텍스트로 헤어스타일을 집중적으로 변환하는 모델
헤어칼라 interpolation 가능, 이미지 + 텍스트 description 가능, 스타일과 컬러별도 입력도 가능
역시 사람 얼굴을 그대로 유지하는 것은 여전히 숙제.. 어려운 얼굴각도도 숙제
https://github.com/wty-ustc/HairCLIP
![image](https://user-images.githubusercontent.com/11782739/145701898-9bb97a4d-1eb1-45f9-8614-30f286332a3e.png)
Multimodal Conditional Image Synthesis with Product-of-Experts GANs
NVidia Ming-Yu Liu 그룹의 새로운 I2I 모델 (아마도 GauGAN2 를 위한 모델?)
텍스트, segmentation map, 스케치 그리고 이들의 조합으로 실사 이미지를 생성
https://deepimagination.cc/PoE-GAN/
![image](https://user-images.githubusercontent.com/11782739/145702011-af363eb7-4f33-47d5-a05e-bf66de0a5e86.png)