[20220410] Weekly AI ArXiv 만담 - 47회차

[jungwoo-ha]

News

• Conference deadline & notification

  • NAACL 2022 발표: 억셉되신 분들 모두 축하드립니다.
  • ICML 2022 Review out: 점수는 어디에... 알파테스트는 좀 자제하지...
  • EMNLP 2022 데드라인이 떴습니다.(https://2022.emnlp.org/calls/papers/Overview)
    • 그런데 좀 복잡합니다. softconf를 쓰는 경우는 6월 24일 제출마감, ARR인 경우는 6월24일까지 리뷰가 완료된 건에 한해서. ARR은 5월 15일이 데드라인이라고 봐야겠습니다.

• DALLE2 가 공개됐습니다.

  • Lucidrains은 벌써 코드를... https://github.com/lucidrains/DALLE2-pytorch
  • Wait list 줄을 서시오...

• AI윤리법안 국회 간담회

ArXiv

• PaLM: Scaling Language Modeling with Pathways

  • Google Research에서 나온 540B 짜리 Tranformer-based Large Language Model (LLM)
  • 학습에 사용된 인프라: 6144 TPU v4 + Pathway ML system
  • Decoder only model (GPT3처럼) + 몇가지 테크닉 (속도와 안정성)
    • Activation: MLP에는 SwiGLU (Swish(xW)*xV) 사용
    • Parallel layer: y = x + MLP(LN(x)) + SA(LN(x))
    • Multi-query: decoding시에 스피드 올리는데 도움
    • Rotary position embedding 활용
    • Input-output embedding tied, Bias 사용안함.
  • 수백여 downstream 에서 few-shot 성능 보고 + Big-bench 에서 평균 수준의 사람보다 뛰어난 결과
  • 다국어 태스크와 code 생성에도 강력한 성능
  • 다른 LLM 연구들이 그렇듯이 윤리적인 부분에 대해 별도 챕터 할애

• The Effects of Regularization and Data Augmentation are Class Dependent

  • 기존 Data augmentation과 regularization 이 일반화 성능에 미치는 영향을 다시 고찰한 연구 (Meta AI)
  • Data augmentation (DA)과 regularization은 모델 학습을 어렵게해서 일반화 성능을 높이는 데 매우 유용함
  • 그런데 실제 DA와 Weight decay를 뜯어보니 평균적으로 validation error를 낮추는 데는 도움을 주지만 특정 클래스 레이블 들에 대해서는 대폭 성능 하락이 발생함.
  • 이는 Downstream task에 적용할 때도 마찬가지. iNaturalist 데이터셋의 특정 클랙스 성능이 70% --> 30%까지 하락
  • DA도 WD도 class-dependent하게 동작하는 데 새로운 형태의 regularizer를 design 해야 한다고.
  • 조만간 이 새로운 디자인의 regularizer를 공개하지 않을까? 싶은..

• On the Effect of Pretraining Corpora on In-context Few-shot Learning by a Large-scale Language Model

  • 학습 코퍼스 최적화로 in context learning 성능 최적화가 가능한가 분석 연구 (from CLOVA, NAACL2022)
  • Hyperscale LM (LLM) 에는 매우 이질적인 특성의 코퍼스들을 한꺼번에 학습
  • 서비스 적용과 deployment를 고려하면 모델의 크기가 선택이 중요하고 이에 따라 어떤 데이터를 코퍼스로 활용할 것인가가가 중요함.
  • 특히 GPT2에서 거의 보이지 않던 in-context few shot 성능이 GPT3 레벨에서 나오긴 하는데 이 in-context few shot이 코퍼스특성에 따라서도 나타날 수 있는 지 분석이 필요.
  • 그래서 HyperCLOVA에 사용된 다양한 소스 코퍼스들을 크기와 조합을 컨트롤해서 각 태스크별 in context few shot에 어떤 영향을 끼치는 지 분석
    • 1. 코퍼스 소스가 어디냐에 따라 in-context few shot 성능에 큰 영향을 준다. 비슷한 코퍼스 크기라도 소스에 따라 다를 수 있다.
    • 2. 코퍼스 각각은 in-context learning을 만들지 못하는데 조합으로 한 경우 in-context learning이 발현되는 경우도 있다. 이것도 코퍼스 사이즈에 의해서만 결정되는 것은 아니다.
    • 3. Pretraining 때 사용된 유사 도메인 코퍼스가 in-context few shot 성능을 보장하지는 않는다. 뉴스가 Topic 분류에 재미 못봄.
    • 4. validation PPL이 모든 downstream in-context few shot을 보장하지는 않는다. 물론 단일 모델에서 학습이 진행되어감에 따라 PPL이 좋아지면 downstream 에서도 좋아지는 추세는 positive correlated이다.

[ghlee0304]

• Arxiv

  • Expressive Singing Synthesis Using Local Style Token and Dual-path Pitch Encoder

    1. 샘플 URL : https://tinyurl.com/cpyfbt6h
    2. 다양한 expressions를 쉽게 control하는 SVS system을 위해서는 두 가지의 문제가 있음
       • 데이터셋에 breathing, intensity, singing technique와 같이 쉽게 라벨링이 불가능한 요소가 있음
       • SVS system으로 합성을 할 때, 입력해야하는 값이 많으면 유저가 부담스러움
         3. 이 논문에서는 singing voice의 다양한 style을 학습하기 위하여 local style token (LST)를 제안
       • 이전의 GST는 주어진 sequence에 대하여 하나의 global vector를 만들었지만 프레인별 스타일 토큰을 만듦
         4. 이 논문에서는 F0를 control하기 위하여 Dual-path Pitch Encoder (DPE)를 제안
       • 두 개의 encoder는 MIDI pitch와 F0를 각각 입력하고 학습 시 이 두 개의 decoder를 랜덤하게 선택하여 학습
       • 두 개의 encoder의 output이 같은 결과를 얻기를 원함
         5. 학습 셋팅
       • 데이터셋 : 1,150 노래 (88명의 여자, 66명의 남자)
       • Single : MIDI pitch encoder만 사용
       • Dual : MIDI pitch encoder와 F0 pitch encoder를 모두 사용 (랜덤하게 50% 확률로 선택하면서 학습)
       • DualLST : Dual에서 LST 모듈 포함
         6. 논문에서 아쉬운 점
       • GST 기법과 비교하지 않아서 얼마나 더 효과적인지 알 수가 없음
       • 각 style token (이 논문에서는 프레임 별 4개의 local token) 이 어떤 표현에 관련이 있는지 불분명함

  • Unsupervised Quantized Prosody Representation for Controllable Speech Synthesis

    • VQ(vector quantization을 이용하여 별도의 prosody encoder를 이용하여 prosody representation을 unsupervised 방식으로 만든 모델
      

  • AdaSpeech 4: Adaptive Text to Speech in Zero-shot Scenarios

    • A zeroshot adaptive TTS system for high-quality speech synthesis
    • 새로운 화자에대한 일반화 성능을 높였음

  • MAESTRO: Matched Speech Text Representations through Modality Matching

    1. self-supervised learning (혹은 pretraining) 방식은 speech와 text 사전에 결합(jointly) 학습하여 natural representation을 만들어 모델의 일반화 성능을 높임
    2. speech와 text의 representation을 jointly 학습할 때 서로 다른 modality를 가지고 있어서 학습이 어려움
       • 해결책 1 : multi-task training, 하나의 모델이 여러 개의 modality에 대한 서로 다른 objectives로 학습
       • 해결책 2 : modality conversion, TTS를 이용하여 text를 speech로 변환하거나 self-supervised training 이용
    3. 제안하는 Maestro 모델은 이 두 가지 해결책의 중간에 놓여 있는 모델로 볼 수 있음
       • 새로운 modality matching algorithm을 이용하여, 적은 양의 전사 데이터를 이용하여 label이 없는 speech와 text로부터 하나의 representation을 만들어 낼 수 있음
       • Machine Translation (MT)과 Speech Translation (ST)에서 사전 학습을 통해 multilingual representation을 향상
    4. 제안하는 모델
       • speech encoder, text encoder, shared encoder, RNN-T decoder로 이루어져 있음
       • alignment를 위한 별도의 attention없이 speech와 text에 대해서 독립적으로 representation을 학습
       • text encoder의 resampler와 refiner는 speech의 duration에 맞추기 위하여 사용
       • speech와 text align을 위한 loss를 paired 데이터를 이용
       • W2v-BERT처럼 contrastive loss를 이용하여 untranscribed speech로 encoder들을 사전 학습함

[veritas9872]

DALL*E 2 논문 링크 공유해드립니다. https://cdn.openai.com/papers/dall-e-2.pdf

[hollobit]

2022년 AI의 상태를 설명하는 12개의 그래프

https://spectrum.ieee.org/artificial-intelligence-index

• IEEE Spectrum에 투고된 AI Index에 대한 또다른 해석 그래프들

  1. 빈익빈 부익부 ?? - 2020년 460억 달러에서 2021년 935억 달러로 급증했으나, 2018년 이후 신규 펀딩을 받은 스타트업의 수가 감소하고 있기 때문에 모든 자금이 더 적은 수의 회사에 투자되고 있다
  2. 중국의 어마어마한 특허 출원량, 가랑비에 옷 젖을까 ?
  3. 지난 10년 동안 크게 변화되지 않은 여성 신규 AI 및 CS Ph.D.의 비율
  4. 크게 변화되지 않은 인종별 AI 및 CS Ph.D.의 비율
  5. AI 관련 법률의 증가
  6. 미국내 AI 관련 공공정책 그룹(55개)들이 작성한 논문의 관심 주제 순위 - 1. 기술혁신, 2. 윤리, 3. 산업 및 규제, 4. 정보보호/안전/프라이버시

AI를 위한 최초의 IBM 메인프레임 출시

https://www.zdnet.com/article/the-first-ibm-mainframe-for-ai-arrives/ 관련 : https://www.zdnet.com/article/turning-point-for-artificial-intelligence-which-may-or-may-not-be-dominated-by-the-large-cloud-providers/ 관련 : 기업용 AI 70조 시장 ? - https://www.bloomingprairieonline.com/enterprise-artificial-intelligence-ai-market-is-expected-to-reach-usd-59-17-billion-by-2028/

• 메인 프레임의 강자, IBM 다시 AI 시대에도 영광 재연이 가능할까 ?
• Telum 프로세서 - 새로운 듀얼 프로세서 5.2GHz 칩과 16개의 코어를 통해 1밀리초의 지연 시간으로 하루에 3,000억 개의 딥 러닝 추론을 수행
• 플랫폼 기업 (Google) vs. 클라우드 기업 (MS, amazon) vs. 칩벤더 (NVIDIA) 과의 경쟁에서 가능할까 ?

PaLM과 DALL*E 2의 충격

[kimyoungdo0122]

• News

  • 국내 최대 AI 전시회 '제5회 국제인공지능대전' 13일 개막

    • 삼성동 코엑스에서 이번에도 열리네요! 관심있는 분들은 참여하시면 좋을 듯합니다.

  • The advantages and disadvantages of AI in law firms

    • 로펌이라는 법률 도메인 비즈니스에 AI를 적용할 수 있는, 혹은 적용할 만한 부문과 리스크를 전체적으로 알려주는 포스트
    • 변호사는 굉장히 노동 집약적인 직업이고 문서를 검토하는 것과 같이 AI와 자동화 기술을 접목시킬 만한 업무 요소가 꽤 있네요
    • 문서 검토, 데이터 병합, 중요한 법률 키워드or문장 추출 등, 문서를 다 읽지 않아도 법률적인 검토가 필요한 항목들에 대한 빠른 접근
    • 소송같은 법정 결과 예측도 잘 된다고 합니다.
    • 그 밖에 자동화 가능한 제반 업무에 AI와 소프트웨어를 잘 구성하면 변호사의 값비싼 노동력과 창의력을 더 필요한 일에 투자할 수 있다는 것이 골자입니다
    • 위험으로는 일자리 감소(딜로이트에 따르면 2036년까지 10만 개의 법률 관련 직무가 자동화된다고 합니다)가 있을 수 있는데, 앞서 전술한 것처럼 더 높은 생산성을 가져올 수 있기 때문에 해결될 수 있는 현상이라고 하네요.
    • 그리고 대형 로펌만 초기에 고비용 Digital Transformation이 가능하다는 내용입니다.
    • AI에 대한 불확실성도 도입이 망설여지는 부분이죠
    • 법무에 필요한 소프트웨어를 구성하려면 법률 도메인과 기술을 모두 이해하고 있는 '번역가'가 필요함

  • Artificial Intelligence: China researches “brain-scale” AI

    • 중국의 파라미터 굴기...
    • Nvidia Megatron NGL with 530 billion parameters, Google’s Switch Transformer with 1.6 trillion and WuDao 2.0 with 1.75 trillion parameters에 이어 100조 개의 파라미터를 가진 모델 연구에 도전
    • 초기 연구에서 1조 9300억 개 연구 실험이 되었고, 14조 5천억 개에서 174조 개의 파라미터가 가능하다고 하네요
    • 여전히 컴퓨팅 인프라가 문제
    • BaGuaLu라는 Mixture-of-Experts (MoE) architecture의 large scale AI를 개발할 수 있는 프레임워크를 사용
    • 당연히 이미지, 텍스트. 비디오 등 multi-task가 가능하도록 모델링하고 생명과학이나 화학 분야에도 쓸 수 있다더라..라고 하는 내용입니다
    • BaGuaLu: Targeting Brain Scale Pretrained Models with over 37 Million Cores

[nick-jhlee]

• Particle physics...에서 큰 뉴스?
  • High-precision measurement of the W boson mass with the CDF II detector
  • "W boson — a fundamental particle that carries the weak nuclear force — is significantly heavier than theory predicts."
  • standard model이 바뀌는 일이......?
  • (혹시 아시면 알려주세요 ㅎㅎㅎㅎㅎ,,,)
• cf. machine learning and particle physics
  • The Higgs boson machine learning challenge (NeurIPS 2014 Workshop on High-energy Physics and Machine Learning)
    • Observation of a new particle in the search for the Standard Model Higgs boson with the ATLAS detector at the LHC
  • Machine Learning and Particle Physics (Talk by Kyles Cranmer of NYU)