tabtoyou
commented
2 months ago 안녕하세요, 우선 KoLLaVA 프로젝트에 관심을 가져주셔서 감사합니다.
현재는 한국어 멀티모달 벤치마크가 따로 없어, 각 모델의 정량적인 성능 측정이 어려운 상황입니다. 한국어 벤치마크 제작을 고려하고 있지만, 현재는 리소스 등 여러 이유로 미뤄지고 있습니다. 하지만 경험상 가장 최근에 업데이트한 🤗 tabtoyou/KoLLaVA-v1.5-Synatra-7b 모델이 가장 괜찮은 성능을 보여줄 것으로 기대됩니다.
최근에 공개된 LLaVA-NeXT 등 영어 위주로 학습된 오픈소스 LMM 들의 한국어 성능도 나쁘지 않은 것을 확인해, 이 부분도 참고하시면 좋을 것 같습니다. 추가로 LLaMA-3 기반으로 학습한 🤗 beomi/Llama-3-KoEn-8B-xtuner-llava-preview 모델도 Beomi 님께서 공개해 주셨습니다.
추후 한국어 벤치마크를 제작하게 된다면, 결과 비교도 공유드리겠습니다. 감사합니다.
안녕하세요, 우선 좋은 모델과 데이터셋 공유 감사드립니다.
다름이 아니라 여러 모델들이 있는데, 한국 멀티모달 벤치마크 성능 비교가 없는 것 같아 문의드립니다. 테스트 데이터셋 기준이라도 모델별 성능을 비교한 걸 공개해주실 수 있을까요? 감사합니다.