Closed jungwoo-ha closed 2 years ago
안녕하세요..! 그동안 지식 루팡만 하다가 처음으로 인사올립니다 ㅎㅎㅎ 모두의연구소에서 Enterprise AI 교육 일을 하고 있는 김영도라고 합니다!
ArXiv
Cross-attention conformer for context modeling in speech enhancement for ASR
MT3: Multi-Task Multitrack Music Transcription
학회 데드라인을 확인하는데 좋은 트위터 계정을 공유해드립니다. https://twitter.com/dlcountdown 매일 주요 AI 학회의 데드라인 알람을 받을 수 있어 항상 긴장감을 놓치지 않은 채로 생활하는데 도움이 됩니다. ㅋㅋㅋ
https://www.mk.co.kr/opinion/columnists/view/2021/11/1048707/
- 사람이 개입하지 않는다고 인공지능이 공정한 건 아냐
- 알고리즘 초기값 인간이 설정 편견·차별 없는지 따져봐야
http://ictconference.kr/ (11/4 ~ 11/5)
- 인공지능 - 사람수준으로 무한진화한다
![]()
![]()
https://www.bbntimes.com/technology/smarter-artificial-intelligence-and-deep-learning-post-covid-19
- 그림 2020년부터 2021년까지 전 세계 기업의 인공 지능 및 딥 러닝 사용 사례
ArXiv
Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of Language Models
Large-scale LM에서 hand-crafted adversarial example의 취약성 robustness 매우 중요 (사실 NLG도 중요)
14개의 adversarial attack method를 GLUE task에 적용해서 AdvGLUE 데이터셋 구축
주요 요약 내용
리더보드와 데이터: https://adversarialglue.github.io/
![image](https://user-images.githubusercontent.com/11782739/140642103-33a11ec6-d913-45e8-a61d-05c52e8da663.png)
WaveFake: A Data Set to Facilitate Audio Deepfake Detection
지금까지 딥페이크 연구는 CV 도메인 위주였다. 이제 오디오 도메인도 해야한다.
Neural voice synthesizer 의 부작용(보이스피싱) 을 막기 위한 연구 (NeurIPS dataset track)
LJSpeech 로 학습한 6개의 합성모델 --> 크로스로 합성인지 아닌지 평가
Classifier는 MFCC쓰는 GMM 이랑 RaWNet (Conv+GRU)
NN-based detector가 평균적으로 성능은 높은데 variance도 크고 전통적 signal processing 기법은 robust 하다고.
데이터, 코드![image](https://user-images.githubusercontent.com/11782739/140642971-03a477ce-ae31-4303-adfc-8a4317c78518.png)
Benchmarking Multimodal AutoML for Tabular Data with Text Fields
Amazon에서 나온 텍스트 + 숫자 형태 tabular 데이터의 AutoML (autoGluon) 벤치마크 (NeurIPS dataset track)
결론은 Multimodal Transformer + 수치 tabular 데이터 모델 앙상블한 Stack-ensemble이 최고
AutoGluon 베이스라인도 상당히 경쟁력 있는 편
Fusion 이나 앙상블하는 구체적인 방법은 appendix에서 자세하게 확인 가능
데이터셋: https://github.com/sxjscience/automl_multimodal_benchmark![image](https://user-images.githubusercontent.com/11782739/140643064-408e8243-6723-4be5-b539-d086bd146fbf.png)
MixSiam: A Mixture-based Approach to Self-supervised Representation Learning
SimSiam을 개선한 버전
Data augmentation기반의 multi-view를 좀더 효과적으로 써먹기 위한 방법
다른 두개의 weak aug 외에도 aug한 둘을 mix하고 aug를 encoder 태운 feature도 mix해서 mix한 둘을 contrastive로
![image](https://user-images.githubusercontent.com/11782739/140643643-53434b76-8c63-408c-8640-a0f432b08fc5.png)
When Does Contrastive Learning Preserve Adversarial Robustness from Pretraining to Finetuning?
NeurIPS 2021 (from MIT, IBM)
제목과 같이 CL이 adversarial 에 robust할까? 특히 CSSL로 pretraining 해도 SL-finetuning 하면 그때 robustness가 약해지지 않을까?
‘cross-task robustness transferability' 라고 정의
메인 실험은 CIFAR10, 100 그리고 Cross로 CIFAR->STL10, 일부 ImageNet 스케일 실험있음.
요약하자면