Closed jungwoo-ha closed 3 years ago
A Flawed Dataset for Symbolic Equation Verfication
The complete sequence of a human genome
Scaled-YOLOv4: Scaling Cross Stage Partial Network
Equivariant Convolutional Networks
AI News
NeurIPS submission 수고 많으셨습니다. 드디어 2021년도 한해농사 작업까진 종료!
KLUE Day: https://www.facebook.com/groups/TensorFlowKR/permalink/1489810094693377
6월 1일, 19:30!
KLUE 연구자들이 모여 직접 설명하는 웨비나!
박성준님, 문지형님, 김성동님, 조경현 교수님, 오혜연 교수님 등으로 부터 재밌는 얘기 들으실 수 있어요~
NAVER AI Now: https://tv.naver.com/ainow
HyperCLOVA: 204B 한국어 GPT3 with 560B 한국어중심(97%) 토큰
다시 보기 가능
Part 1은 비전과 현황 / Part 2는 기술 내용
발표 영상들 (특히 저) Deep fake 아닙니다~.. 근데.. 딥페이크로 만들어도 구분 불가 일것 같긴하네요 ㅎㅎ
SW Engineers Social for Enabling HyperCLOVA: https://bit.ly/3oWXr2Q (5월 31일 까지 신청 받습니다!)
6월 3일, 오후 8시
HyperCLOVA가 궁금한.. HyperCLOVA로 멋진 AI서비스를 만들고 싶은 엔지니어분들!
이번엔 인터랙션/질의 응답 가능한 웨비나 입니다.
네이버 클로바의 에이스 시니어, 중니어, 주니어 SW개발자 분들의 생생한 AI로 서비스 만드는 얘기 공유 예정
KAIST-NAVER Hypercreative AI Center
초대규모 그다음을 바라보는 창의력을 가진 멀티미디어 컨텐츠 생성 AI
ArXiv
We're excited to introduce AndroidEnv, a platform that allows agents to interact with an Android device and solve custom tasks built on top of the Android OS. In AndroidEnv, an agent makes decisions based on images displayed on the screen, and navigates the interface through touchscreen actions and gestures just like humans.
ViT가 CNN대비 갖는 여러가지 robust 한 이점들을 실험적으로 분석한 논문
앱스에 매우 잘 정리되어 있음
Transformers are highly robust to severe occlusions, perturbations and domain shifts, e.g., retain as high as 60% top-1 accuracy on ImageNet even after randomly occluding 80% of the image content.
The robust performance to occlusions is not due to a bias towards local textures, and ViTs are significantly less biased towards textures compared to CNNs.
Using ViTs to encode shape representation leads to an interesting consequence of accurate semantic segmentation without pixel-level supervision.
Off-the-shelf features from a single ViT model can be combined to create a feature ensemble, leading to high accuracy rates across a range of classification datasets in both traditional and few-shot learning paradigms.
CogView: Mastering Text-to-Image Generation via Transformers
진짜 중국판 DALL-E
코드(https://github.com/THUDM/CogView ) 와 데모(https://lab.aminer.cn/cogview/index.html )도 공개
NYU, Facebook AI
진짜 few-shot 환경 (held-out examples 가 없는 상황) 에서 LM이 정말 few-shot을 잘하는가?
Held-out이 압도적으로 잘하고 True few-shot 에서는 CV, MDL 기준으로 모델을 골라도 random대비 marginal 수준
Few-shot task는 LAMA (retrieval 쪽), 사실 generation쪽이 궁금하긴 한데.. 이쪽은 metric이 애매하여..
그래서 True few-shot 세팅에선 GPT3 한계가 확실히 보인다고..
Learning to Optimize Industry-Scale Dynamic Pickup and Delivery Problems
화웨이 Noah's ark 랩
인더스트리 스케일에서 동적 물류 최적화 (비용 최소화를 위한 차량 배차 최적화)
물류 AI 연구하시는 분들에게 꽤나 유용할 것으로 보이는 연구
GNN + RL: Attention-based GNN + Double DQN
Self-Ensembling Contrastive Learning for Semi-Supervised Medical Image Segmentation
Tsinghua 대학 + SenseTime
MRI 와 CT 데이터의 segmentation (Labeled 와 Unlabeled 데이터 둘다 있으때)
Supervised (Labeled로) + Constrastive loss를 활용한 Noisy student 비슷한 KD 기반 semi-supervised
Region-aware contrastive sampling & Anatomical-aware contrastive sampling
의료 이미지 segmentation 연구에 활용하시면 좋을듯?
YOLO5 기반의 face detector
다양한 크기/속도 백본 실험
학술적 의미보단 실제적으로 꽤 유용해 보임
NC Soft Knowledge AI Lab (ACL 2021)
문서요약에서 이미지와 메타데이터(테이블) 활용 요약
- Text를 BART (enc-dec) pretraining 2) dec freezing하고 이미지와 메타 각각 enc pretraining, 3) 셋다 merging하고 dec까지 훈련
Drawing Multiple Augmentation Samples Per Image During Training Efficiently Decreases Test Error
미니배치 구성할때 image당 augmented sample 하나씩 쓴다 --> 그래야 이미지 다양성이 확보되니까
한 이미지에 대해 여러가지 aug sampling를 해보고 성능 비교
의외로 미니배치내 이미지 다양성이 감소해도 test error가 더 감소하더라는.. 딥마인드 연구
실험 백본은 Normalized-Free Net 갖고 해봄
백본 트레이닝할때든 fine-tuning할때는 한번 해보시면 좋을 듯?
Super Tickets in Pre-Trained Language Models: From Model Compression to Improving Generalization
ACL 2021 발표 (from Georgia Tech, MSR, MS Azure)
Lottery Tickter의 연장선 상에서 파라미터가 줄어들 때 성능이 유지되는 정도가 아닌 일반화성능이 좋아지는 점이 존재
그 최대값이 되는 sub model 이 super ticket이고 이게 가능한것은 파라미터가 줄어도 Bias는 증가하지 않으면서 variance만 감소하는 구간이 존재하기 때문으로 설명 (끄림1)
GLUE와 SNLI, SciTail 등으로 실험, Base는 역시 MT-DNN
확실히 classification 모델류는 경량화 잘 하는 것이 ROI와 직결. 생성모델류도 이런게 있으면 좋겠다는...
From Motor Control to Team Play in Simulated Humanoid Football
게놈 지도 관련 내용이 있는 링크 드립니다 :) https://www.hani.co.kr/arti/science/science_general/771715.html
AI News
ArXiv