CMMMU: A Chinese Massive Multi-discipline Multimodal Understand- ing Benchmark

[runhani]

시작이 반이기 때문에

• 대학교 시험, 퀴즈, 교과서에서 가져온 12,000 문제들
• 39개의 image type (chart, diagram, 지도, table, 음악표, 화학식 등)
• GPT-4V를 포함해서 11개의 open-source를 평가했고 24.05.28일 기준 1등이 GPT-4V 43.7%
• 결국 AGI까지 아직 a large space for improvement가 있다.

분야는 6개 (MMMU랑 동일)

1. Art & Design
2. Business
3. Science
4. Health & Medicine
5. Humanities & Social Science
6. Tech & Engineering

중요한 점 : 어떻게 모았나?

• 20개의 source들을 찾았다. (저작권과 license 관련 문제 없는 사이트들)
• 그리고 아래 규칙에 따라서 filtering 했다.

1. 이미지 보지 않고도 답을 맞힐 수 있는 문제는 제거
2. 같은 이미지를 사용하는 문제도 제거
3. 전문적인 지식 없이도 맞힐 수 있는 문제도 제거
4. 동일한 사전 지식을 통해 풀 수 있는 문제나 같은 유형의 질문은 10개를 넘지 않도록 했다.

문제 유형은?

• MC : Multiple Choice Questions
• FIB : Fill in the blank questions
• T/F : true or false question.
• 문제 난이도는 3가지 : Easy, Medium, Hard

KMMMU는 어떻게 해야 할까?

• 10년치 수능 문제 중에서 사진과 함께 풀어야지 풀리는 문제들에 대해서만 추출해서 결과를 올릴까?