search

Naver-AI-Hackathon / AI-Speech

31 stars 5 forks source link

점수 평가 metric은 비공개인가요? #25

Closed Yupjun closed 5 years ago

Yupjun commented 5 years ago

accuracy만으로는 아닌거 같긴한데 궁금합니다

ClovaAIAdmin commented 5 years ago

예선전의 점수 평가는 character level edit-distance 기반으로 자동 계산된 스코어로 등수가 결정됩니다.

score = (1.0 - CER) * 100.0
Yupjun commented 5 years ago

예선전의 점수 평가는 character level edit-distance 기반으로 자동 계산된 스코어로 등수가 결정됩니다.

score = (1.0 - CER) * 100.0

예 근데 모델 크기와 inference 속도도 metric에 들어갈 수 있다고 들은것 같아서 질문 드렸습니다!

ClovaAIAdmin commented 5 years ago

모델 크기와 인퍼런스 속도는 본선에 반영될 예정입니다. 반영 비율은 본선 시작하기 전에 다시 공유드리겠습니다. ^^ 감사합니다.