rladmstn1714 / CLIcK

CLIcK: A Benchmark Dataset of Cultural and Linguistic Intelligence in Korean
39 stars 1 forks source link

How about using `.strip()` in answers and choices for data integrity? #4

Closed L0Z1K closed 3 months ago

L0Z1K commented 3 months ago

Hi. I found some issues in CLIcK data.

    {
        "id":"CSAT_geography_09_4",
        "paragraph":"",
        "question":"다음은 한국의 지리에 대한 문제이다.\n다음 글의 ᄀ~ᄅ에 대한 옳은 설명만을 <보기>에서 있는 대로 고른 것은? \n파랑의 작용이 활발한 해안에서는 기반암이 파식 작용을 받아 형성된 절벽인 ( ᄀ )와 넓고 평탄한 파식대가 나타난다. 파식대는 오랜 시간이 경과하면 파랑의 영향이 미치지 않는 고도에서 계단모양의 ( ᄂ )(으)로 변화되기도 한다. 파랑의 작용이 약한 곳에서는 하천이 운반한 모래와 해안의 돌출부에서 이동된 모래가 해안에 퇴적되어 ( ᄃ )이 형성될수있다.( ᄃ )의 모래가 사주를 이루어 만의 입구 를 막으면 ( ᄅ )이 형성된다. \n<보 기> \nᄀ. ᄀ의 후퇴 과정에서 시스택이 형성되기도 한다.\nᄂ. ᄂ은 지반 융기와 해수면 변동의 영향으로 형성된다.\nᄃ. ᄃ은 주로 양식장이나 염전으로 이용된다.\nᄅ. ᄅ의 대부분은 하천의 퇴적 작용이나 매립으로 규모가 작아지고 있다.",
        "choices":[
            "ᄀ, ᄂ",
            "ᄂ, ᄃ",
            "ᄃ, ᄅ",
            "ᄀ, ᄂ, ᄅ",
            "ᄀ, ᄃ, ᄅ "
        ],
        "answer":"ᄀ, ᄂ, ᄅ "
    },

As you refers to the above data, the answer cannot match with the elements of choices. While the answer is "ㄱ, ㄴ, ㄹ " (exists space after 'ㄹ'), there is "ㄱ, ㄴ, ㄹ" in choices. I found 50 similar examples approximately.

So if some naive researchers (like me) do evaluation with == operation, they can get wrong answers. Also, we cannot use .index() of list because it returns -1 in this case.

If there is no meanings for space in the choices and the answer, how about removing the space with .strip() function?

rladmstn1714 commented 3 months ago

Based on your comments, I revised the answers using strip. Thank you for your comments!