Closed jungwoo-ha closed 2 years ago
ArXiv
News
DEVIEW 2021과 HyperCLOVA(다시보기는 하정우 소장님 글로!)
OpenAI’s API Now Available with No Waitlist
모두콘 2021이 12월 4일에 진행됩니다! 많은 관심 부탁드려요~~!!
https://unesdoc.unesco.org/ark:/48223/pf0000379920.page=14 https://kaiea.org/research/?idx=8994590&bmode=view https://zdnet.co.kr/view/?no=20211124105459
- 유네스코 193개 회원국이 인공지능 윤리에 관한 첫 번째 글로벌 협약을 채택
- 141개 조항의 가치와 원칙
http://it.chosun.com/site/data/html_dir/2021/11/26/2021112601857.html http://www.aitimes.com/news/articleView.html?idxno=141704
News
Arxiv
DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with Gradient-Disentangled Embedding Sharing
MS 365 AI와 MSR의 DeBERTa 멤버들이 그대로 개선
DeBERTa: Disentangled attention (word content and position): https://arxiv.org/pdf/2006.03654.pdf (ICLR 2021), 공개는 작년 6월 --> RoBERTa보다 좋은 성능 보임
MLM을 Electra의 pretraining task인 repace token detection (RTD)로 대체 (대체 생성된 token 잡아내기)
Electra 스타일로 하되 Electra의 D와 G 사이의 tug of war (줄다리기) 문제 해결을 위한 gradient-disengtangled embedding sharing 제안
https://github.com/microsoft/DeBERTa
![image](https://user-images.githubusercontent.com/11782739/143729536-c535c6b4-87d8-4b60-9678-0df4aa050ce8.png)
GauGAN2
GauGAN2 combines segmentation mapping, inpainting and text-to-image generation in a single model, making it a powerful tool to create photorealistic art with a mix of words and drawings.
NÜWA: Visual Synthesis Pre-training for Neural visUal World creAtion
이름이 왜 이런가 했더니: https://en.wikipedia.org/wiki/N%C3%BCwa (중국 고대신화의 여와..)
text, image, video를 모두 입력에 넣고 visual decoding 하는 멀티모달 foundation model (from MSRA, 북경대)
이를 위해서 3D Nearby attention 기반의 변형 transformer
pretraining task: T2I, video prediction, T2V: 다양한 어려운 pretraining task approach
Image tokenizer는 VQ-GAN (Video도 그냥 그대로)
Pretraining data: 2.9M I-T pair, Moments in Time (727k video), VATEX (241k text-video pair)
![image](https://user-images.githubusercontent.com/11782739/143729902-f68e84da-d1ce-44c1-b7b8-16a720ea2c34.png)
Florence: A New Foundation Model for Computer Vision
다양한 CV task들을 위한 Foundation model (Foundation model이 궁금한 분은: ) from MSR and MS Cloud
훈련데이터는 web scale image-text data
12 layer transformer (LM encoder) + Conv+SwinTransformer (Vision encoder)
Image-text contrastive learning은 UniCL을 쓴다는데 (동일 그룹) 2022년에 arxiving을 준비하고 있다는... ㅡㅡ;;;
Scalability를 위한 테크닉들 함께 소개 (그래서 512 A100 10일간 돌림)
Transfer type: finetuning, linear probing, few-shot, zero-shot for 44 benchmark tasks
ImageNet-1k zero sho 83,7%, COCO 62.4 mAP, VQA 80.36, 87.8 for K-600