search

KLUE-benchmark / KLUE

📖 Korean NLU Benchmark
https://klue-benchmark.com
Creative Commons Attribution Share Alike 4.0 International
554 stars 55 forks source link

[KLUE-YNAT] (TC)에서 dev 셋이 누락되었습니다 #44

Open singleheart opened 1 year ago

singleheart commented 1 year ago

Description

안녕하세요, https://klue-benchmark.com/tasks/66/data/description 표를 보면 YNAT에는 train, dev, test 셋이 있는데요, https://klue-benchmark.com/tasks/66/data/download에서 https://aistages-prod-server-public.s3.amazonaws.com/app/Competitions/000066/data/ynat-v1.1.tar.gz 파일을 받아서 압축을 풀어 보면 ynat-v1.1_dev.json이라는 파일이 있는데, 개수를 세어 보면 위 표의 test셋과 개수가 같습니다. 표를 수정해야 할 것 같습니다.

singleheart commented 1 year ago

https://github.com/KLUE-benchmark/KLUE/issues/38#issuecomment-1128284806 코멘트를 보면 오버피팅을 방지하기 위해 테스트셋을 공개하지 않는다고 하셨네요. 이 정책은 이해했습니다. 그렇다면 현재 공개된 데이터셋이 dev셋이고 test셋이 비공개이니, https://klue-benchmark.com/tasks/66/data/description 표에서 dev와 test 열의 데이터 분량을 맞바꾸어 주어야 하겠습니다

songys commented 1 year ago

안녕하세요. YNOT 팀장 송영숙입니다. 먼저, 꼼꼼히 살피고 오류를 찾아 주셔서 감사합니다. 확인해 보니 말씀하신 것과 같이 train, dev, test 세트 분할과 공개에는 문제가 없었으나 기록하는 과정에서 dev, test의 클래스 숫자를 바꾸어 적은 문제가 있었던 것 같습니다. 이후 업데이터 할 때 반영하도록 하겠습니다. 감사합니다.

class