[20211107] Weekly AI ArXiv 만담

jungwoo-ha commented 2 years ago

News
- EMNLP 2021: 오늘 밤부터 시작. Punta Cana!!! photo by 박성준님
- AAAI review out: Rebuttal 모두 힘내세요.
- ICLR review will be out. 아마도 화요일
- CVPR 2022 논문 ArXiving 소셜 미디어 정책 바뀌었어요. 10월 19일 부터 noti때까지 홍보하면 안됩니다!
- 중국이 미국을 압도했다. 14억 인구 데이터로.
ArXiv
- Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of Language Models
- Large-scale LM에서 hand-crafted adversarial example의 취약성 robustness 매우 중요 (사실 NLG도 중요)
- 14개의 adversarial attack method를 GLUE task에 적용해서 AdvGLUE 데이터셋 구축
- 주요 요약 내용
  - Most existing adversarial attack algorithms are prone to generating invalid or ambiguous adversarial examples, with around 90% of them either changing the original semantic meanings or misleading human annotators as well.
  - All the language models and robust training methods we tested perform poorly on AdvGLUE, with scores lagging far behind the benign accuracy.
- 리더보드와 데이터: https://adversarialglue.github.io/
- WaveFake: A Data Set to Facilitate Audio Deepfake Detection
- 지금까지 딥페이크 연구는 CV 도메인 위주였다. 이제 오디오 도메인도 해야한다.
- Neural voice synthesizer 의 부작용(보이스피싱) 을 막기 위한 연구 (NeurIPS dataset track)
- LJSpeech 로 학습한 6개의 합성모델 --> 크로스로 합성인지 아닌지 평가
- Classifier는 MFCC쓰는 GMM 이랑 RaWNet (Conv+GRU)
- NN-based detector가 평균적으로 성능은 높은데 variance도 크고 전통적 signal processing 기법은 robust 하다고.
- 데이터, 코드
- Benchmarking Multimodal AutoML for Tabular Data with Text Fields
- Amazon에서 나온 텍스트 + 숫자 형태 tabular 데이터의 AutoML (autoGluon) 벤치마크 (NeurIPS dataset track)
- 결론은 Multimodal Transformer + 수치 tabular 데이터 모델 앙상블한 Stack-ensemble이 최고
- AutoGluon 베이스라인도 상당히 경쟁력 있는 편
- Fusion 이나 앙상블하는 구체적인 방법은 appendix에서 자세하게 확인 가능
- 데이터셋: https://github.com/sxjscience/automl_multimodal_benchmark
- MixSiam: A Mixture-based Approach to Self-supervised Representation Learning
- SimSiam을 개선한 버전
- Data augmentation기반의 multi-view를 좀더 효과적으로 써먹기 위한 방법
- 다른 두개의 weak aug 외에도 aug한 둘을 mix하고 aug를 encoder 태운 feature도 mix해서 mix한 둘을 contrastive로
- When Does Contrastive Learning Preserve Adversarial Robustness from Pretraining to Finetuning?
- NeurIPS 2021 (from MIT, IBM)
- 제목과 같이 CL이 adversarial 에 robust할까? 특히 CSSL로 pretraining 해도 SL-finetuning 하면 그때 robustness가 약해지지 않을까?
- ‘cross-task robustness transferability' 라고 정의
- 메인 실험은 CIFAR10, 100 그리고 Cross로 CIFAR->STL10, 일부 ImageNet 스케일 실험있음.
- 요약하자면
  - the design of contrastive views matters: High-frequency components of images are beneficial to improving model robustness;
  - Augmenting CL with pseudo-supervision stimulus (e.g., resorting to feature clustering) helps preserve robustness without forgetting.
  - 코드: https://github.com/LijieFan/AdvCL (아직 안만들었음 ㅡㅡ;;)

kimyoungdo0122 commented 2 years ago

안녕하세요..! 그동안 지식 루팡만 하다가 처음으로 인사올립니다 ㅎㅎㅎ 모두의연구소에서 Enterprise AI 교육 일을 하고 있는 김영도라고 합니다!

News
- State of AI Report 2021
- AI 컨퍼런스에 억셉되는 페이퍼 숫자의 증가
- AI 연구자들의 커뮤니티 활동이 점점 필요해진다?! (인용, 파생연구 등 긍정적인 영향)

컨퍼런스 및 세미나 시즌!

ghlee3401 commented 2 years ago

ArXiv
- Cross-attention conformer for context modeling in speech enhancement for ASR
  - Google
  - speech enhancement(SE)를 위한 noise-context modeling
  - context feature도 입력으로 하되, attention에 참여시켜 프레임별 노이즈 임베딩을 계산하여 변화가 많은 비정상 노이즈 유형을 잘 처리할 수 있음
  - 데이터는 281k의 Librispeech training set, 1,916k의 데이터 이용
  - 노이즈로 기존의 생활 노이즈 뿐 아니라 다양한 음악들도 사용함 https://youtube.com/audiolibrary
- MT3: Multi-Task Multitrack Music Transcription
  - Google Research
  - ASR 과 달리 Automatic Music Transcription(AMT)의 경우 여러개의 악기들을 피치와 타이밍을 유지하면서 musical note를 찾아내야 함
  - log Mel-spectrogram을 입력으로 하고 MIDI와 같은 정보를 예측 (Figure 2)
  - NLP에서 사용된 Transformer 기반의 T5 (small) 모델을 기반으로 relative embedding 대신 absolute positional embedding을 하용하는 등 일부 수정
  - 60 million parameter를 사용한 작은 모델을 사용하는 이유는 모델의 사이즈가 커질수록 overfitting이 일어나기 때문
  - 샘플 URL : https://storage.googleapis.com/mt3/index.html