jungwoo-ha
commented
3 years ago - AI News
- Samy Bengio 의 Apple 행: https://www.reuters.com/technology/apple-hires-ex-google-ai-scientist-who-resigned-after-colleagues-firing-2021-05-03/
- ICLR Social 2021: ML in Korea wrap-up
- 120여명 참가, 첫 gather town Social, 8개 부스
- 서울대 조규진 교수님 키노트: soft robotics
- 3개 parallel session + industry expo
- AI 미래포럼 5월 웨비나: https://www.facebook.com/AIFutureForum
- AI Hype vs. Reality
- National AI Initiative: https://www.ai.gov/
- ACL 2021, ICML 2021 notification: 모두들 축하드립니닷!
- ArXiv
- MLP-Mixer: An all-MLP Architecture for Vision
- CNN도 가라, Transformer도 가라.. MHSA도 되는게 MLP로 왜 안되냐.
- Patch별 MLP + Patch를 섞는 MLP + GAP (그림 1로 모든게 설명)
- 구글스러운 연구
- Audio Transformers:Transformer Architectures For Large Scale Audio Understanding. Adieu Convolutions
- 사운드 인식에도 conv는 버리고 간다. (Conformer는 중간에서 쓰고 spectrogram 쓰는 모델은 앞단에 conv 사용)
- raw waveform 입력에 대해 FC (== 1x1 conv)를 이용해 사이즈를 줄여가며 transformer 활용
- 하지만 ASR은 아니고 classification 데이터임.
- Towards Content Provider Aware Recommender Systems
- 기존 추천시스템의 한계 개별 유저-컨텐츠 아이템 매칭 --> 컨텐츠 공급자 빠져있음
- 장기적 관점에서 사용자 만족도 향상을 위해서는 당연히 컨텐츠 pool에 직접영향을 주는 컨텐츠 공급자가 시스템에 고려되어야함
- 사용자와 공급자를 완전히 고려하는 추천시스템은 문제 자체가 매우 어렵기 때문에 일단 시뮬레이션 부터
- 기술적으로는 일단 POMDP로 정의하고 RL agent 활용
- Handwritten Mathematical Expression Recognition with Bidirectionally Trained Transformer
- 손으로 쓴 수식을 LATEX으로 번역. transformer s2s 이고
- EduTech 특히 수학교육 AI 활용 기업들은 체크해보시라
- https://github.com/Green-Wood/BTTR (참고로 아직은 404)
- Detection, Tracking, and Counting Meets Drones in Crowds: A Benchmark
- CVPR 2021 논문 (ECCV2020땐 챌린지도 있었던듯)
- 드론 촬영을 통한 detection, tracking, counting 대량 데이터셋
- 112 비디오 클립, 33600 HD 이미지
- 20,800명 이동동선 어노테이션 했다고...
- 그리고 베이스라인 모델도 함께 공개
- https://github.com/VisDrone/DroneCrowd
- Unsupervised Visual Representation Learning by Tracking Patches in Video
- CVPR2021 from MSRA
- 잡기놀이에 영감을 얻어 비디오에 pseudo patch를 만들어 이 패치의 크기와 위치를 맞추도록 pretranining
- 비디오내 실제 물체로 GT를 만드는것은 불가능하기 때문에 (그게 되면 이런연구 필요없....) 가상으로 만드는 방법 제시
- 비디오 인식의 pretraining task로 꽤 괜찮은 듯
- https://github.com/microsoft/CtP
- Learning to Perturb Word Embeddings for Out-of-distribution QA
- ACL 2021 (from KAIST AI 대학원 황성주 교수님)
- QA 모델이 OOD나 unseen 데이터 취약하니 DA를 하긴 하는데
- 기존 DA 잘못하면 semantic 이 바뀌면서 역효과를 줄수 있어서
- 시맨틱 변경없이 input 과 context에 노이즈 좀 넣는 DA 기법 제안
- MIMII DUE: Sound Dataset for Malfunctioning Industrial Machine Investigation and Inspection with Domain Shifts due to Changes in Operational and Environmental Conditions
- Hitachi 에서 공개한 기계고장 소리 Dataset 논문
- 중구난방인 anomaly sound detection의 데이터/방법이라 제조 AI 분야에서 유용할 듯
- https://zenodo.org/record/4740355#.YJeYXmVt-Uk
- What's in the Box? An Analysis of Undesirable Content in the Common Crawl Corpus
- ACL 2021 (from MILA)
- 대부분 대규모 LM 학습하는데 CommonCrawl corpus 사용하고 있음
- 이 안에 문제가 될만한 성적이슈, 편향성, 혐오표현 등 얼마나 많이 들어있는가 분석
- Crawling system 개선에 대한 고찰이 필요
- Introducing Information Retrieval for Biomedical Informatics Students
- 의대나 관련 전공 수업에서 요긴하게 쓰일 듯한
- https://github.com/dbmi-pitt/bioinf_teachingNLP
- Real-time Face Mask Detection in Video Data
- 당분간은 여전히 마스크 써야하니.
- 이런 시스템을 적용해서 체크하는 것도 좋을 듯
- Yolo or SSD를 사용했고 99.9%짜리는 5fps, 89%짜리는 52fps라고...
- RepMLP: Re-parameterizing Convolutions into Fully-connected Layers for Image Recognition
- MLP-Mixer 가 나오면서 칭화대와 MEGVII가 급하게 정리해서 내놓은 느낌 (아 역시 cocurrent work 에서 timing attack이란)
- 동일하게 Conv 대신 MLP 구성으로
- 훈련시엔 CNN 쓰고 infer 때는 FC로 뭉쳐버리는 trick 포함
- https://github.com/DingXiaoH/RepMLP
qqueing
hollobit
j-min