[Research Trends] 상위 논문주제 몇개 살펴보기

[sghong977]

작성일시: 2022.10.24

1. Toward Next-Generation Artificial Intelligence: Catalyzing the NeuroAI Revolution

https://arxiv.org/pdf/2210.08340v1.pdf
요약: 고도의 neuroscience 영업글 (?) + NeurIPS 저격글 (왜 뇌과학 안하고 머신러닝만 나오냐 요즘!)

앞부분만 대략 보고 넘어갔다. 이런 과학의 영역은 현재 내 환경에서 할 수 있는 게 아니니깐...

• 그동안 Turing Test에 기반하여 컴퓨터 시스템이 발전하고 AI 모델을 만들었다. (단순 질의응답으로 AI가 잘 동작하는지)
• 정말 더 human intelligence에 가까운 모델을 만들려면 'NeuroAI'에 관심을 더 두어야할 때라고 주장한다.
• 예를 들면, neuroscience의 좀 오래된 아이디어인 attention mechanism이 딥러닝에 도입되면서 많은 발전을 했다.
• 하지만 그건 오래된 연구고, 좀더 최근의 뇌과학 연구들을 도입하여 더 좋은 아이디어를 얻을 수 있지 않을까?
• 논문의 저자는 기존의 Turing Test가 간과했던 점을 얘기하면서, embodied turing test 를 제안한다.
• 동물마다 sensorimotor ability가 다르지만, 핵심적인 sensorimotor capabilities는 거의 모든 동물에게서 공유된 특징이며 이로 인해 빠르게 환경에 적응하고 진화시키는 능력을 가지고 있다. 그 특성이 어떤 것들인지 몇가지를 소개하는 논문.

[sghong977]

2. ASK ME ANYTHING: A SIMPLE STRATEGY FOR PROMPTING LANGUAGE MODELS

https://arxiv.org/pdf/2210.02441v1.pdf https://github.com/HazyResearch/ama_prompting

• LLM (Large Language Modeling) 관련 논문
• 보통 pretrained model 가져와서 쓸때 "prompting"이라는걸 한다. 모델 자체에는 작은 변화이나 이게 주는 영향이 커서 prompt를 매우 잘 정의해야함.
• 이 논문의 아이디어는 prompt에 수반되는 높은 수준의 노력을 완화하기 위해, 효과적이지만 불완전한 여러 프롬프트를 수집하고 집계하는 것이 고품질 프롬프트 전략으로 이어질 수 있는지를 묻는다.
• Ask Me Anything (AMA) 모델을 제안하였음.
• noisy prediction인 weak supervision 사용
• 뭐.. 아무튼 이 아이디어를 오픈소스 시리즈인 Neo, BLOOM, OPT, T0 모델 (+다양한 사이즈의, 125M-175B parameters)에 대해서 실험했는데 평균적으로 10%정도의 few-shot baseline 대비 성능 개선이 있었다고 한다.

Language Model 하는 사람들은 한번 봐야할 듯

[sghong977]

순위권 논문 쭉 보고있는데 죄다 diffusion이라 다른걸 집어왔다.

3. "Museformer: Transformer with Fine- and Coarse-Grained Attention for Music Generation"

https://arxiv.org/abs/2210.10349v1

• 음악을 만드는 모델이 있다?!
• 기존 모델들도 트랜스포머 기반인데 음악은 1만토큰이 넘는 long sequence라 잘 동작하기가 어려운데다가, 음악의 특성인 '반복구간'을 제대로 만들지 못함

4. IMAGEN VIDEO: HIGH DEFINITION VIDEO GENERATION WITH DIFFUSION MODELS

• 요즘 Diffusion Model 많이 쓰는 듯. 이것도 마찬가지다.
• 이미지 만드는 diffusion model은 주로 UNet 구조였는데 이걸 확장함
• 3D UNet 사용

[sghong977]

5. Foundation Transformer

https://arxiv.org/pdf/2210.06423v1.pdf https://aka.ms/msragi

마이크로소프트 논문.