Closed jungwoo-ha closed 2 years ago
News
한국, 글로벌 AI 지수에서 종합 5위 기록...지난해보다 3계단 상승
Alphabet Chases Wonder Drugs With DeepMind AI Spinoff Isomorphic Labs
Facebook AI Research, multilingual 모델이 처음으로 bilingual 모델을 WMT에서 이겼다!
최근 대부분의 언어모델은 Bilingual 모델이며 두 언어의 쌍으로 만들어진 데이터에서 학습됨.
세계적으로 많이 사용되는 언어간 데이터에 비해 소수 언어는 데이터도 부족하며, 페이스북같은 전세계 수십 억 명이 이용하는 서비스에 bilingual 모델을 일일이 적용하기는 불가능함
그래서 multilingual 모델을 연구했고 WMT에서 좋은 성능을 보임
아키텍쳐는 dense transformer와 Sparsely Gated Mixture of Expert (MoE)를 썼고 후자가 더 좋았다
many to English와 English to many를 별도로 학습하고 Large scal backtranslation을 썼더니 좋았다
하나의 Multilingual 모델로 전세계 유저에게 서빙할 수 있다는 방향이 보인다!
Microsoft is giving businesses access to OpenAI’s powerful AI language model GPT-3
ArXiv
Emotional Prosody Control for Speech Generation
Survival-oriented embeddings for improving accessibility to complex data structures
Arxiv: https://arxiv.org/pdf/2110.11303.pdf
NeurIPS 2021 accept된 논문 공유해드립니다.
의료 인공지능 분야에서 딥러닝을 이용한 생존분석, 즉 어떤 현상이 언제 일어날 것인지에 대한 예측 관련 논문이 많이 연구되고 있는데 LMU Munich 영상의학과와 통계학과에서 liver tumor CT scan에서 영상을 직접 input으로 사용해 생존분석을 하는 방법을 제시했습니다.
VAE를 사용해서 영상의 feature를 추출하는 역할을 수행하도록 하고 Cox loss를 조합해서 생존 확률 예측을 하도록 했는데 이는 기존의 딥러닝 기반의 생존분석 모델은 영상 정보로부터 end-to-end 예측을 하기 어려웠기 때문에 학습 안정화를 하는데에 크게 기여했다고 생각됩니다.
VAE의 latent vector를 보았을 때 실제로 tumor가 영향을 미치는 것으로 보입니다(?).
아쉬운 점은 영상 정보를 사용했음에도 불구하고 훨씬 단순한 tabular information을 사용한 방법과 성능이 크게 다르지 않다는 점입니다. 하지만 여전히 image data에서 survival prediction을 비교적 안정적으로 할 수 있는 방법을 제시해준다면 의의가 있다고 생각됩니다.
https://www.hani.co.kr/arti/economy/it/1019612.html
http://www.mtnews.net/news/view.php?idx=12233 https://www.youtube.com/watch?v=d-5neAOFP0U
http://www.aitimes.com/news/articleView.html?idxno=141547
https://virtualizationreview.com/articles/2021/11/19/ieee-tech-study.aspx?m=1
- https://transmitter.ieee.org/impact-of-technology-2022/ 미국 의 최고 정보 책임자, 최고 기술 책임자 및 기술 리더 350명을 대상으로 한 10월 설문 조사를 기반 "2022년에 가장 중요한 기술은 - 21%가 AI와 머신 러닝, 글로벌 전염병으로 인해 클라우드 컴퓨팅, AI 및 기계 학습, 5G 및 증강 현실, 가상 현실 및 혼합 현실(AR/VR/MR)의 채택을 가속화 AI는 향후 1~5년 동안 거의 모든 산업 부문에서 혁신의 대부분을 주도할 것 - 95%
$200 million 투자 추가. 총 $13 billion valuation. 3천만 명의 사람들이 매일 사용. 50만개 응용들과 연계 2009년 우크라이나 창업 기업.
ArXiv
Masked Autoencoders Are Scalable Vision Learners
이진원님 PR12 talk: https://www.youtube.com/watch?v=mtUa3AAxPNQ
Kaiming He, Xinlei Chen, Ross Girshick 조합!! (근데 왜 조직명은 아직 FAIR냐???)
이미지 격자 패치 상당수 masking, encoding 이후에 maksed patch 가져와서 작은 decoder 써서 recon 시키기
나중에 인식에 쓸때는 encoder만 가져다가 fine-tune
마스킹 비율을 많이 늘려서 어려운 SSL task를 만들어 놓는 것이 중요함!
![image](https://user-images.githubusercontent.com/11782739/142750041-9bef7246-0b7e-4940-b301-462529cfed98.png)
Swin Transformer V2: Scaling Up Capacity and Resolution
ICCV 2021 Best paper 에 빛나는 Swin 저자들이 확대되어 V2를 내놓음.
V2의 메인테마는 Scaling-up: 모델크기 (3B), 해상도 (1536x1536), 데이터양
스케일업을 위한 일부 모델 구조 변경
ImageNet-21k로 pretraing 후 ImageNet v2 84%, ImageNet-1k v1: 90.17 (기존 SOTA인 ViT는 JFT-3B)
https://github.com/microsoft/Swin-Transformer
![image](https://user-images.githubusercontent.com/11782739/142754202-c884f902-8145-440d-9754-32ac59db9d96.png)
XLS-R: Self-supervised Cross-lingual Speech Representation Learning at Scale
Meta AI에서 나온 진정한 의미의 음성인식 Scaling law 연구 (소속명 표기가 dog판 ㅋㅋ)
기본 wav2vec 2.0 구조를 유지하되 parameter를 2B까지 끌어올리고
Pretraining으로 128개국어 50만시간 학습 후 Finetuining 으로 음성번역, 음성인식, 언어인식, 화자인식 등등등에서 놀라운 결과 (한국어는 61시간)
https://github.com/pytorch/fairseq/tree/main/examples/wav2vec/xlsr
허깅페이스에도 https://huggingface.co/models?other=xls_r
![image](https://user-images.githubusercontent.com/11782739/142754761-eb841ffd-496f-4d5b-9abc-b042e13fde4f.png)
Pre-training Graph Neural Network for Cross Domain Recommendation
Graph constrastive SSL pretraing-finetuning 을 이용하여 cross domain 추천에 적용
기존에 joint training 은 source domain bias에서 완전히 자유롭지 못함
기본적으로 GIN (Graph isomorphism network) + MoCo 스타일의 InforNCE loss 활용 SSL
특이한 건 Finetuning 시에 복잡한 모델 대신 MF를 쓰는 것이 더 낫다고 (with Bayesian Persolization Ranking loss)
Amazon-GGF를 source로 Amazon-PP를 target으로
![image](https://user-images.githubusercontent.com/11782739/142755613-76a8c262-78e4-4bd7-b679-e69dfe76c905.png)
November 2021 Edition: Rapid Advancements in Digital Transformation in Journal of Innovation (by AI미래포럼 임채성 위원님)
산업 (Industrial) AI는 AI 적용을 통해 혁신적 결과물을 창출하는 산업 DX와 밀접한 관련성을 갖는다 하겠읍니다. 산업 DX(디지털 전환, 디지털 트랜스포메이션) 글로벌 선도 단체인 미국 IIC에서 Journal of Innovation 특집 아티클을 5개를 오늘 내어 놓았읍니다. 아티클 내용과 특집 링크를 아래와 같이 공유드립니다.
산업 DX Journey 대한 전체적인 틀과 개념을 보시려면: The Digital Transformation Journey in the Enterprise and its Leadership
일본 도시바의 산업 DX 신 비즈니스 모델을 보시려면: Digital Transformation in Steel Inspection: Toshiba MetalSpector Customer Case Study
IIC에서의 Testbed, test drive와 산업 DX 관련한 사항을 보시려면: Digital Transformation in Practice: Learning from IIC Deployments (한국 기업 Inter-X 사례 포함)
산업 DX 를 추진하는 기업의 신 혁신 프로세스를 보시려면: The New Innovation Process of Undergoing Digital Transformation in Industries
일본 미쯔비시의 스마트팩토리에서의 DX를 향한 점진적 접근을 보시려면: A Continuous Improvement (Kaizen) Driven Approach for Realistic Digital Transformation in Smart Manufacturing