test에 알맞은 새로운 valid set 구성 필요성

[jerry-ryu]

Overview

• link를 참고하면 현재 test public set의 EDA를 알 수 있다.
• 현재는 고정된 valid 또는 test set을 사용하는게 아니라 주어진 데이터셋 안에서 train과 valid를 나누어 사용하고 있다.
• 이 때문에 dataset에 따라 평가 지표가 바뀌고, 이는 평가 지표 및 모델 성능 검증의 신뢰도를 떨어뜨린다.

Todo

고정된 valid or test set만들기

• [ ] 분포에 알맞은 고정된 valid or test set 데이터 크롤링하여 제작하기
• [ ] 현재 데이터셋에서 분포에 알맞은 고정된 valid or test set 뽑아내기

Additional Context

• 고정된 valid or test set을 만들면, dataset.py를 변경해야할 소요가 있을 수도 있음
• test public set의 분포를 맞춘 500장 정도의 set이면 좋을 것 같음

[ganghe74]

Validation Set 구축에 드는 비용때문에 Validation은 랜덤 Split을 참고로 사용하고, 리더보드 점수를 활용하자고 했음