Open changh95 opened 1 month ago
: Development of Open Source LLVMs
KAIST 노용만 교수 연구팀에서 최근 공개한 오픈소스 LLVM(Large Language and Vision Model)
두 모델 모두 단순히 모델 사이즈나 고푸질 시각적 조정 데이터셋을 만들지 않고, 가장 최근의 시각-언어 모델(OpenAI의 GPT-4V, Google의 Gemini-pro)보다 시각 성능을 획기적으로 높임.
특히 CoLLaVO 모델에서는 instruction tuning 단계에 프롬프트로 학습한 정보의 소실을 줄이는 학습 전략인 'Dual QLoRA'를 제안하고 있음.
CoLLaVO 모델 외에 본 연구팀의 다른 모델들 모두 공개형 LLM으로 릴리즈되어 관련 확장 연구에 활용 가능하다는 점도 주목할만함.
++ 위 모델 외에도 NLP 분야 국제 학회인 ACL 2024에 게재된 LLaMa 3.1 기반의 멀티모달 LLM도 추가로 덧붙임.
(Pilippeshin)
Hydra-MDP: End-to-end Multimodal Planning with Multi-target Hydra-Distillation
Bringing Transformer Networks to the Edge with Arm Ethos-U85
Interesting papers
Industry news
https://github.com/user-attachments/assets/2f6490b7-5adf-4a62-94fb-a6f8af2dc1b3
https://github.com/user-attachments/assets/1b75f544-dea2-4b42-a7e9-57bd4f072e29
https://github.com/user-attachments/assets/f61fb42b-1b1a-49e4-842b-348d50c4274b
Useful resources