LLaVA-Gemma: Accelerating Multimodal Foundation Models with a Compact Language Model

[hjeun]

• arXiv: https://arxiv.org/abs/2404.01331

• https://huggingface.co/Intel/llava-gemma-2b

• https://huggingface.co/Intel/llava-gemma-7b

• Gemma 붙여서 실험하였으나, 성능 SoTA는 아님

• Visual Encoder는 CLIP보다 DinoV2가 더 좋음

• 몇개의 Benchmark에서는 2B가 7B보다 좋음

• Adapter Pretraining이 안좋은 경우도 있다?