nick-jhlee
commented
1 year ago 알쓸신뉴스..
-
C. R. Rao (1920-) awarded international statistics prize
- 살아계신 레전드중 레전드중 레전드
- Cramer-Rao bound, Rao-Blackwell theorem, information geometry, asymptotic statistics....etc (DL < ML < Stat - Rao선생님의 캐리...)
-
Launch of Continual AI Unconference (CLAI Unconf)!
- https://continualai.github.io/
- 24hr long virtual conference
- proceeding to be available at PMLR
- "preregistration" with idea and write the actual paper during conf?!
- twitter link: https://twitter.com/continualai/status/1641092869728468993?s=46&t=llKohaNYR1IR_yaWlq40TA
-
Deep Gaussian Processes (Damainou & Lawrence, AISTATS 2013) awarded test of the time award at AISTATS 2023
-
Vesuvius Challenge
- ML/CV challenge to read the Herculaneum Papyri(!)
- Grand Prize $700,000 and more!
- https://scrollprize.org/
알쓸신paper...
- PopulAtion Parameter Averaging (PAPA)
- Samsung SAIT Lab, Montreal (led by Simon Lacoste-Julien)
- differently train a population of p networks while
- 1) occasionally replace rthe weights of the models by the population average of the weights during training (PAPA-all), or
- 2) slowly push the models toward the population average of the weights at every few steps of training (PAPA-gradual).
- We also REPAIR the average of the weights for improved performance and return a single combined model at the end of training.
- twitter link: https://twitter.com/jm_alexia/status/1644296041930412033?s=46&t=llKohaNYR1IR_yaWlq40TA (see their blog as well)
terryum
kimyoungdo0122
공지
다음 주에는 Stanford AI Index Report 2023을 리뷰할 예정입니다. https://aiindex.stanford.edu/report/
뉴스
“Gemini”: Google and Deepmind develop GPT-4 competition URL: https://the-decoder.com/gemini-google-and-deepmind-develop-gpt-4-competition
Twitter:
구글과 딥마인드에서 GPT-4에 대항하기 위해 multi-trillion parameter model을 학습하는 중이라는 소문이 업계에서 빈번하게 들려옵니다. 심지어 Jeff Dean 옹께서 직접 코딩을 하신다고 하는데 그만큼 구글에서 LLM 부분에서 뒤쳐지지 않기 위해 올인하는 것을 볼 수 있습니다.
연구
Segment Anything
Blog: https://segment-anything.com GitHub: https://github.com/facebookresearch/segment-anything ArXiv: https://arxiv.org/abs/2304.02643
Meta에서 image segmentation을 위한 거대 모델을 코드와 model weight를 포함해서 오픈소스했습니다.
학습을 위해서 모델 스스로 라벨을 생성해서 학습에 포함하는 방법을 통해 처음에는 human segmentation의 도움을 받았지만 학습이 진행할수록 human labelling을 축소하는 방식을 적용하는 데이터 엔진을 구성했습니다. 단순히 클릭하는 것과 언어 프롬프트를 통해 물체의 영역을 분할할 수 있어 여러 분야에 범용적으로 적용될 것으로 생각됩니다.
보시다시피 학습에 포함되지 않은 의료영상에서도 우수한 성능을 보입니다. ~(그럼 나는 뭐 먹고 살지?)~
Self-Refine: Iterative Refinement with Self-Feedback
Blog: https://selfrefine.info GitHub: https://github.com/madaan/self-refine ArXiv: https://arxiv.org/abs/2303.17651
ChatGPT 및 대화형 거대 언어 모델이 지금까지 Reinforcement Learning with Human Feedback (RLHF)를 사용해왔지만 고품질의 human labelling이 필요하다는 단점이 있습니다. 이미 학습이 완료된 다른 모델에서 라벨을 생성하는 방법도 가능하지만 초거대 모델을 처음 개발하는 입장에서는 다른 방법이 있으면 도입이 더 쉬워질 것으로 생각됩니다.
해당 논문에서는 pre-trained model에 직접 RLHF를 진행하는 대신 refinement와 feedback prompt를 제시하는 방식을 통해 답변을 점진적으로 고도화합니다. 이것은 인간이 사고하는 방식과 유사하고 한 번 실수한 것을 수정할 기회를 준다는 장점이 있지만 최종 결과를 위해 즉답을 할 수 없어 real-time으로 답변하기 어려워진다는 단점이 있습니다.
Technical Papers
TPU v4: An Optically Reconfigurable Supercomputer for Machine Learning with Hardware Support for Embeddings Blog: https://cloud.google.com/blog/topics/systems/tpu-v4-enables-performance-energy-and-co2e-efficiency-gains?hl=en ArXiv: https://arxiv.org/abs/2304.01433
구글에서 딥러닝에 특화된 TPU v4의 구조를 설명하는 white paper를 공개했습니다. 기존에 비해 가장 유의할 부분은 데이터 전송에서 광학을 이용함으로써 전력 소모, 시간, 네트워크 구성 편의성 등 여러 장점을 살렸다는 것입니다. ~그러나 가격은 Infiniband의 10배라고 합니다. 역시 돈이 좋습니다...~
전부터 광학을 사용하는 것이 데이터 전송 속도 병목의 좋은 해결책이라고 생각을 했었는데 연산 회로에서는 아니지만 이미 데이터 전송에서 사용되고 있는 것을 보아 추후 더 중요해질 것으로 생각됩니다.
BloombergGPT: A Large Language Model for Finance Blog: https://www.bloomberg.com/company/press/bloomberggpt-50-billion-parameter-llm-tuned-finance ArXiv: https://arxiv.org/abs/2303.17564
금융 정보 분야의 대표주자인 Bloomberg에서 금융 분야에 특화된 거대 언어모델을 학습해 서비스에 제공할 예정입니다. 기존의 task-specific한 모델과 다르게 대량의 financial data를 전체 학습 데이터의 절반 이상 차지할 정도로 많이 사용하고 금융 데이터에서 사용되는 정보의 구성 등에서 많은 전문성을 요구했습니다. 또한, AWS에서 비교적 적은 리소스로 50B 모델을 학습할 수 있었는데 GPT API에 의존하지 않고도 데이터만 충분하다면 분야에 특화된 모델을 만들 수 있는 것을 보여주었습니다. 추후 대화형 인공지능 모델의 비즈니스 모델 개발에서 중요한 요소일 것으로 생각됩니다.