[20220626] Weekly AI ArXiv 만담 - 56회차

[jungwoo-ha]

News

• Conferences
  • CVPR 2022: 6.19 ~ 24
  • EMNLP 2022: 모두들 수고 많으셨습니다.
• E2V-SDE 논문 표절 이슈

ArXiv

• Scaling Autoregressive Models for Content-Rich Text-to-Image Generation

  • Google research에서 나온 또다른 Text-to-image generation 이름하여 Parti
  • 이미지 생성에 Diffusion model을 쓰지않고 Transformer S2S + ViT-VQGAN Tokenizer 활용 --> Autoregressive !
  • text encoder 학습에 BERT MLM loss로 C4 학습, LAION-400M, ALIGN일부, JFT-4B일부(SimVLM 통한 캡션) 등을 contrastive learning loss로 학습
  • 1024 해상도를 위해서 학습 파라미터 기반 Super-resolution upsampler 활용
  • Parti Prompt라는 벤치마크도 함께 공개
  • 모델의 크기(자본)가 이미지 생성에 어느정도 영향을 주는 지 적나라하게 확인 가능

• Rarity Score : A New Metric to Evaluate the Uncommonness of Synthesized Images

  • 생성된 이미지가 얼마만큼 전형적이 않고 독창성이 있는지 평가하는 metric (from KAIST-NAVER Hypercreative AI Center)
  • 모델의 창의성을 평가하기 위해 출발한 연구
  • 기존 FID는 fidelity만 평가, LPIPS는 전반적인 분포의 다양성만 측정 가능
  • 이미지당 특이함을 나타내는 score이므로 개별 이미지가 얼마나 특이한지도 되고 생성이미지의 score분포를 통해 모델의 성능평가도 가능
  • 널리 쓰이는 truncation trick이 실제 rarity score에 영향을 주는 것을 확인
  • https://parti.research.google/

• 흥미있는 연구

  • OpenXAI: Towards a Transparent Evaluation of Model Explanations
  • https://open-xai.github.io/
  • XAI 연구하시는 분들을 위한 성능 평가 벤치마크와 평가지표 프로토콜 정리해둠.
  • Few-Max: Few-Shot Domain Adaptation for Unsupervised Contrastive Representation Learning
  • Contrastive self-supervised로 pretrain한 모델을 few-shot domain adaption 써먹을 때 (from UT Austin)
  • Open-source language AI challenges big tech's models
  • https://bigscience.notion.site/BLOOM-BigScience-176B-Model-ad073ca07cdf479398d5f95d88e218c4
  • Video PreTraining (VPT): Learning to Act by Watching Unlabeled Online Videos
  • Minecraft playing video를 보고 학습하는 모델! (from OpenAI)
  • https://openai.com/blog/vpt/

[hollobit]

Github Copilot 유료화 포함한 공식 서비스 시작

https://github.com/github-copilot/signup https://techcrunch.com/2022/06/21/copilot-githubs-ai-powered-programming-assistant-is-now-generally-available/ https://analyticsindiamag.com/6-month-review-github-copilot-elicits-mixed-reactions-from-developers/

• 학생들과 검증된 오픈소스 컨트리뷰터들에게는 무료로 제공되지만 그외 개발자들에게는 월 10달러, 연간 기준으로는 100달러 비용이 부과
• 공개된 소스코드 수십억 라인에서 훈련된 AI 모델 '코덱스'를 기반으로 기존 코드 맥락을 고려해 코드 라인들을 제시
• 프리뷰 기간 120만명 규모 개발자가 코파이럿에 가입. 현재 새로 쓰여지는 코드의 40%가 코파일럿이 제안했다고
• CoPilot 사용 5개월간의 경험담 기록 - https://medium.com/@buddi/github-copilot-after-using-5-months-2b06b79bb1f1

Amazon launches CodeWhisperer, a GitHub Copilot-like AI pair programming tool

https://techcrunch.com/2022/06/23/amazon-launches-codewhisperer-its-ai-pair-programming-tool/

• re:Mars conference에서 공개
• Java, JavaScript 및 Python 등 수십억 라인의 오픈 소스 코드와 자체 코드베이스, 공개 포럼에서 공개적으로 사용 가능한 문서 및 코드를 이용해 학습
• 개발자용 IDE 지원 : Visual Studio Code, IntelliJ IDEA, PyCharm, WebStorm and Amazon’s own AWS Cloud 9. AWS Lambda Console도 곧 지원 예정

캐나다, 인공지능 시스템 규제 법안 발의

https://www.lexology.com/library/detail.aspx?g=399217a6-ff76-4bfc-bf90-4d11a1d96dbf

• Artificial Intelligence and Data Act(“AIDA”)
• AIDA에서 정의하고 있는 인공지능 시스템
  • 인공 지능 시스템 은 콘텐츠를 생성하거나 결정, 권장 사항 또는 예측을 내리기 위해 유전자 알고리즘, 신경망, 기계 학습 또는 기타 기술을 사용하여 인간 활동과 관련된 데이터를 자율적으로 또는 부분적으로 자율적으로 처리하는 기술 시스템을 의미
• AIDA는 인공 지능 시스템을 설계, 개발, 사용 가능하게 하거나 운영을 관리하는 모든 사람이 해당 시스템에 대한 책임이 있다고 명시
• “High-impact systems”에 대한 규제. HIS로 정의될 경우, 시스템을 사용 가능하게 하거나 관리하는 사람들은 추가로 다음을 수행해야 함
  • identify, assess and mitigate risks of harm or biased output that could result from the system
  • establish measures to monitor the mitigation measures
  • publish a plain-language description of the system, including how it will be used, the type of output, decisions or recommendations it will make, and the mitigation measures in place, and
  • notify the government if the use the system results or is likely to result in material harm.

ISO/IEC AI Workshop sessions (5/24 ~ 5/25)

• https://jtc1info.org/technology/subcommittees/artificial-intelligence/iso-iec-ai-workshop/#register
• Session1 video: https://iec.zoom.us/rec/play/WA7qhC2wXleVlVUgqAeX7B3lAmQyP4CEe2qayuFZZ-S0mtlLZfvJnZdvDOv6aRBd3SmDlY0tKpqb884J.u2yClT8A8rgM97PE?continueMode=true
• Session2 video: https://iec.zoom.us/rec/play/WA7qhC2wXleVlVUgqAeX7B3lAmQyP4CEe2qayuFZZ-S0mtlLZfvJnZdvDOv6aRBd3SmDlY0tKpqb884J.u2yClT8A8rgM97PE?continueMode=true
• Session3 video: https://iec.zoom.us/rec/play/qRh5qCL0M2BJvpQNoCW4h4MFbzd-B5_RpA4wc1_b8XcqzC0WM9_S9j2Lwa1jLbUfFx5CkPDU9S4-bqjm.lIAnEUEysv4rMUq1?continueMode=true

  • Session1: AI Applications, Novel AI Standardization:Data Quality for Analytics and Machine Learning, AI Standards Hub (UK)
  • Session2: Emerging AI Requirements - NIST AI Risk Management Framework, UNESCO recommendation on the Ethics of AI, Emerging Tech Trends
  • Session3: AI Applications - Safety considerations in autonomous products, AI Powered UAV and Future Prospect, Novel AI Standardization - SC42 key standards

[ghlee0304]

Arxiv (Audio and Speech Processing)

• Nonwords Pronunciation Classification in Language Development Tests for Preschool Children
  • INTERSPEECH2022 / Technische Hochschule Nurnberg Georg Simon Ohm(Germany), Intel Labs / feature extraction comparison
  • Summary
    • 어린이의 언어 발달이 연령에 적합한지 여부를 자동으로 평가하는 것을 목표로 하고 있음
    • 언어 장애 아동이 같은 또래의 정상 아동에 비해 비단어(nonword) 발음이 부정확하다는 연구가 있음
    • 이 논문에서는 어린이의 비단어를 듣고 올바르게 발음이 되었는지를 잘 분류하기 위한 feature extractor 방법이 무엇인지 비교하였음
  • Key methods
    • 4개의 feature : FFT를 이용한 low-level features, 화자 판별 모델 ECAPA-TDNN로 추출한 features, grapheme 기반의 wav2vec 2.0으로 뽑은 features, phoneme 기반의 ASR acoustic model로 추출한 features를 사용
    • 하나의 classifier : classifier는 VGG와 유사한 구조로 되어 있으며 네 개의 feature를 이용하여 판별
  • Conclusion
    • 결과적으로 ASR acoustic model의 feature를 이용했을 때 가장 좋은 성능을 보였다고 함
• DRAFT: A Novel Framework to Reduce Domain Shifting in Self-supervised Learning and Its Application to Children’s ASR
  • INTERSPEECH2022 / Dept. of Electrical and Computer Engineering (UCLA) / SSL, adaptation
  • Summary
    • SSL의 경우 사전 학습 dataset에 모델이 bias되기 때문에 학습과 다른 데이터로 튜닝을 할 때 domain shift 문제가 발생
    • adaptation stage를 추가한 domain responsible adaptation and finetuning (DRAFT)을 제안
  • Key methods
    • Transformer 사이에 residual adaptors (RAs)를 두고 추가적으로 adaptation stage에서 finetuning data로 SSL loss를 이용하여 학습을 함
    • 대신, 이전이 정보를 잃지 않기 위하여 adaptation stage에서는 RAs의 parameter만 학습을 수행
    • ASR 모델을 adult speech dataset으로 학습을 하고 child data로 학습
  • Conclusion
    • autoregressive predictive coding (APC), wave2vec, HuBERT에 적용 시 DRAFT를 적용하는게 좋은 성능을 보였음
• NU-Wave 2: A General Neural Audio Upsampling Model for Various Sampling Rates
  • INTERSPEECH2022 / 마인즈랩, 서울대 / diffusion, super-resolutioin, bandwidth-extension
  • Summary
    • diffusion 모델을 이용하여 다양한 sample rate를 가지는 audio로부터 48 kHz audio를 만들어내는 방법을 제안
    • NU-wave에서는 모음의 harmonic을 만들어내지 못하였고 다양한 frequency band를 만들어 내는데는 낮은 성능을 보였음
    • 특히, 이 논문에서는 어떤 sampling rate를 가진 low-quality 입력으로부터 highq-quality signal을 만들어내는 task를 "general neural audio upsampling" task 라고 이름을 지었음.
  • Method
    • short-time Fourier convolution (STFC)은 local, global branch를 가지고 있고 global branch에서는 BSFT로부터 input signal의 bandwidth 특징을 받아 적용시키는 부분이 있음
    • bandwidth spectral feature transform (BSFT)은 다양한 sampling rate를 가진 input으로부터 spectral domain feature를 추출하는 것으로 bandwidth에 대한 정보를 condition으로 제공
  • Conclusion
    • 이전 모델인 WSRGlow와 NU-wave 보다 좋더라
• Adversarial Multi-Task Learning for Disentangling Timbre and Pitch in Singing Voice Synthesis
  • INTERSPEECH2022 / NCSOFT / SVS
  • 샘플 URL : https://nc-ai.github.io/speech/publications/amtl-svs/
  • Summary
    • 기존의 NAR-SVS 모델은 가사와 미디를 입력으로 mel-spectrogram을 예측하는 모델로 자동으로 timbre와 pitch 정보가 나누어졌지만, 각 decoder의 output에 어떠한 제약이 없었기 때문에 의도대로 나누어지지 않을 수 있었음
    • 이 논문에서는 mel-spectrogram과 parametric vocoder인 WORLD vocoder의 feature를 예측하는 것을 동시에 학습하는 방법을 이용하여 timbre와 pitch를 정보를 적절히 모델링 함
  • Method
    • 처음에는 WORLD feature를 예측하는 task로 모델을 학습하고 이후 mel-spectrogram을 예측하는 task와 같이 학습
    • discriminator를 이용하여 각 feature의 예측 성능을 높임
    • discriminator는 singer embedding을 condition으로 하여 각 singer로 fine-tune하지 않고 multi-singer로 학습
  • Conclusion
    • 물리적 의미가 명확한 feature를 사용함으로써 timbre와 pitch를 disentangle하여 학습
    • WORLD와 neural vocoder를 모두 사용할 수 있어서 neural vocoder가 없어도 WORLD로 합성 가능
• 흥미있는 연구
  • Avoid Overfitting User Specific Information in Federated Keyword Spotting
    • INTERSPEECH2022/ Nanjing Univ. & Huawei Noah’s Ark Lab / Keyword spotting
    • 키워드 스포팅(KWS)에서 적은 양의 데이터, 사용자마다 다른 습관 및 억양으로 인하여 과적합이나 가중치 발산 같은 문제가 발생할 수 있기 때문에 이 논문에서는 사용자별로 오버핏이 일어나지 않도록 adversarial learning을 이용
  • A Systematic Comparison of Phonetic Aware Techniques for Speech Enhancement
    • INTERSPEECH2022 / Hebrew University of Jerusalem & Meta AI / Enhancement
    • 기존의 speech enhancement에서는 phonetic content를 사용하는 것이 어떻게 이점을 가지는지 알 수 없었기 때문에 이 논문에서는 ASR, HuBERT, WavLM 과 같은 phonetic model을 이용하여 feature를 추출하고 이를 regularization, supervision, conditioning에 적용하여 enhancement에 phonetic content를 사용하는 것이 효과가 있음을 보여줌
  • Radio2Speech: High Quality Speech Recovery from Radio Frequency Signals
    • INTERSPEECH2022 / Hong Kong Univ. & Tsinghua Univ. & Shanghai Qi Zhi Institute /
    • https://zhaorunning.github.io/Radio2Speech/ RF signal to speech
    • radio frequency (RF) signal을 high quality의 speech로 복원하기 위하여 UNet 구조의 모델을 제안
  • Towards End-to-End Private Automatic Speaker Recognition
    • INTERSPEECH2022 / INESC-ID/Instituto Superior Tecnico, University of Lisbon(Portugal), LTI, Carnegie Mellon University(USA) / privacy, ASV
    • privacy-preserving automatic speaker verifiaction(ASV)

[kimyoungdo0122]

• News
  • Hugging face에서 Dall-E mini 프롬프트를 써볼 수 있어요!
  • craiyon 사이트에서도 쓸 수 있습니다
  • Dall-e mini다보니 퀄리티가 아쉽고, 생성된 사람 얼굴은 많이 불쾌하실 수 있어요 ㅠ
  • 사전적으로 드물게 정의된 'crungus'라는 단어에서 생성된 이미지가 트위터를 떠들썩하게 했습니다
  • 손톱 밑의 때를 의미하지만 거의 사용되지 않는 단어에서 악마같은 형상의 이미지가 생성되었고 널리 퍼졌습니다
  • 보통의 어휘와 이미지로 학습되었다고 생각하기 어려운 경우인지라 더욱 이슈가 되었네요
  • 모 트위터유저가 찾아본 바로는 오래된 공포 게임에서 나온 몬스터라고 하는데 이것만으로 학습되었을까요?

[veritas9872]

Tracing with Primitives: TorchDynamo & nvFuser

PyTorch 라이브러리의 미래 진행 방향이 Julia와 매우 유사한 방향으로 진행되는 것으로 PyTorch Dev Blog에 공지되었습니다.

지금까지 딥러닝 라이브러리의 주요 패러다임은 low-level CUDA C/C++로 핵심 코드를 작성하고 Python으로 high-level wrapper를 작성하는 방식으로만 진행이 되어오되 eager execution을 통해 사용자 편의성을 중시해오고 최적화를 위해서는 flexibility를 희생시킨 graph mode를 사용해서 JIT Compile을 진행해야만 했습니다.

하지만 현재 방식은 새로운 operation을 정의할 때마다 low-level kernel을 작성해야해서 현재 PyTorch에는 2,000개가 넘는 operator가 있다고 합니다.

이런 문제점을 해결하기 위해 primitive operation을 정의하고 Python에서 interpreter가 bytecode를 받는 단계에서 bytecode를 수정함으로써 symbolic kernel fusion을 실현하는 방향으로 나아갈 것이라고 합니다. 이런 방법의 장점은 추후 high-level에서 Python으로 새로운 프로그램을 작성하더라도 여러 hardware accelerator에서 최적화된 kernel이 실행된다는 점입니다.

이미 90% 이상의 repository에서 accuracy가 100%인 것을 발표했는데 추후 연구개발을 진행하는데 많은 도움이 될 것 같습니다.

PyTorch Dev Blog에 관련 여러 포스트가 있는데 아래 정리해드립니다.

TorchDynamo GitHub: https://github.com/pytorch/torchdynamo

Where PyTorch is Headed: https://dev-discuss.pytorch.org/t/where-we-are-headed-and-why-it-looks-a-lot-like-julia-but-not-exactly-like-julia/276 Tracing 0 Tracing 1 Tracing 2 NVFuser 1 NVFuser 2

DeepMind Educational Resources

GitHub: https://github.com/deepmind/educational

딥마인드에서 머신러닝 및 딥러닝을 설명하기 위한 Colab이 오픈소스되었습니다. 비전문가에게 딥러닝을 설명하실 때 많은 도움이 될 것 같습니다.

OmniXAI

GitHub: https://github.com/salesforce/OmniXAI

Salesforce에서 설명가능한 인공지능을 위한 OmniXAI 라이브러리를 공개했습니다. PyTorch의 Captum과 함께 연구자들에게 많은 도움이 될 것 같습니다.

Lightning Transformers

PyTorch Lightning과 HuggingFace Transformers를 같이 사용할 수 있는 새로운 repository가 공개되었습니다.

NLP 분야에서 많은 도움이 될 것 같습니다.

GitHub: https://github.com/Lightning-AI/lightning-transformers

Unified-IO: A Unified Model for Vision, Language, and Multi-Modal Tasks

Allen Institute for AI 에서 Unified IO라는 vision/language general-purpose model을 공개했습니다.

Arxiv: https://arxiv.org/abs/2206.08916 Blog: https://unified-io.allenai.org/ Medium: https://ai2.medium.com/9c0ec7fe1e43

[jwlee-ml]

<홍보 한가지 하겠습니다 :) > [PR12 5기 멤버 모집: 6명] #PR12 - 7/10(일) 23시59분59초까지!!

안녕하세요. PR12에서 5기 멤버를 추가로 6명 모집합니다 PR12는 AI관련 논문을 리뷰하는 모임으로 2017년 4월부터 6년째 매주 일요일 밤 10시부터 Zoom을 이용하여 두 분씩 돌아가면서 온라인으로 발표를 하고 발표를 모두 녹화하여 Youtube에 공유하고 있습니다.

작년 3월 7일 첫 발표를 시작한 PR12 Season 4가 어느덧 100편의 논문 리뷰를 앞드고 있습니다(현재 392편 리뷰 완료) 그동안 고생해주신 4기 멤버들께 깊은 감사를 드립니다 이제 새롭게 Season 5를 함께해주실 5기 멤버를 모집합니다!!!

PR12를 함께하시면 함께하시는 훌륭하신 리뷰어 분들과 네트워킹도 할 수 있고 무엇보다 1년 후에 많이 성장한 스스로를 발견하실 수 있습니다 다들 아시죠? 선지원 후고민(or 노고민)!

• 자격요건
• 나이, 성별, 국적, 전공, 직업 불문
• 영어 논문읽기에 큰 불편이 없으신분
• 딥러닝에 대한 이해가 있으신분
• 6개월 이상 매주일 한번씩 끈기 있게 참여하실수 있으신분 (일요일 밤에 시간이 가능하신 분)
• 본인이 딥러닝 관련학회 논문을 제출해 보셨거나 기존의 논문 알고리즘등을 구현해보신분 (Plus)
• 슬라이드 잘 만드시고 발표잘하시는 분 (Plus)
• 지원 방법 (7월 10일 23:59분59초 AOE 마감)
• 희망하시는 논문 하나를 읽고, 발표슬라이드를 만드신후, 5분정도 발표하는 모습을 (스크린 리코딩) youtube에 올리시고 간단한 자기 소개와 함께 jwlee.ml25@gmail.com 으로 link를 보내주시면 됩니다.
• 본인이 이미 구현한 딥러닝 모델들이 있으시면 github 주소등 같이 보내 주세요. (plus)
• 기타 문의: jwlee.ml25@gmail.com

정말 딥러닝 초 고수가 될수 있는 PR12에 많은 관심 부탁드립니다. (발표된 논문슬라이드와 영상은 Youtube에모두 공개하고 있습니다!)

<PR12 다시보기> Season 1 - https://www.youtube.com/watch?v=auKdde7Anr8&list=PLWKf9beHi3Tg50UoyTe6rIm20sVQOH1br Season 2 - https://www.youtube.com/watch?v=FfBp6xJqZVA&list=PLWKf9beHi3TgstcIn8K6dI_85_ppAxzB8 Season 3 - https://www.youtube.com/watch?v=D-baIgejA4M&list=PL_skMddDjnzq1wDI3t2cH9hlK6wBBapeA Season 4 - https://www.youtube.com/watch?v=az-OV47oKvA&list=PL0o99tZwBlrMV3QsZ4O79KjMHDhAJpAdW