Naver-AI-Hackathon / AI-Speech

31 stars 5 forks source link

[공지] 온라인 종료 시점에 대한 사과공지입니다. #107

Open bluebrush opened 4 years ago

bluebrush commented 4 years ago

먼저 nsml 사용에 대해서 불편과 혼란을 드린점에 대해서 사과드립니다. 온라인 결선은 오프라인결선의 사전 체험 및 준비의 성격으로 온라인 결선 종료시점의 순위에 대해서 의미를 두지 않고 있었습니다. 이러한 이유로 엄격한 종료 시점에 대한 적용이 없는 상태였습니다. 일반적으로 종료 시잠에는 ranking board 캡쳐 및 게시로 종료를 공지하나 온라인 결선의 경우 offline의 연장선이라 별도의 종료 공지가 없었습니다.

엄격한 종료 시점에 대한 명확한 공지가 없었던 점과 종료 이후 학습 및 모델의 submit이 가능한 상황이었습니다. 이부분에 대해서 운영진은 학습이 진행 중이 모델에 대한 완료 및 submit에 대한 여유를 주는 것이 좋을 것 같다고 생각하였습니다. 하지만 이러한 사항이 사전에 공지되지 못하여 상황을 알수 없는 것이 많은 혼란을 야기한 것 같습니다.

시스템의 사용 종료 시점에 대한 명확한 공지가 나가지 못하여 혼란을 드린점을 다시 한번 사과드립니다.

Yupjun commented 4 years ago

5시이후 제출자의 점수도 인정이 되는게 이해가 안됩니다. 그리고 해당 체크포인트가 리더보드 점수 상승이 있다는걸 모두가 알게 된 상황이니 revert 하더라도 의미없을것 같습니다. 누군가는 룰을 지켜서 점수 상승이 없는 거네요. 아무튼 그렇습니다 감사합니다

bluebrush commented 4 years ago

@Yupjun 님, 불편을 드려서 죄송합니다. 각 팀 서로 다른 submit 전략을 가져가는 가고 있는 부분에 대한 충분한 고려가 되지 못한 점에 대해서 다시 한번 사과드립니다. 위 본문에서도 설명 드렸듯이 offline 결선을 앞두고, 충분한 사전 테스트 및 모델 개발 환경을 제공하는 취지가 있으며, 종료 시점 기준으로 탈락자가 발생하거나 않는 점과 종료 시점 이후 submit된 모델이 반영되지 않았을 경우, offline 시작과 동시에 제출될 가능성이 높아 최종 ranking에는 영향이 거의 없을 것으로 판단되어 revert 등의 추가 대응은 하지 않고 있습니다. 이점 이해부탁드립니다. 감사합니다.

Yupjun commented 4 years ago

@bluebrush 그렇죠 그런데 그 제출이라는게 1시간에 한번만 되는건데, 어떤 팀은 본선때 제출하려고 기다리고 있는 상황이고, 어떤 팀은 기한을 넘기더라도 제출해서 해당 모델의 퍼포먼스를 기반으로 2주동안 피드백이 될 예정이라는거죠. 최종 랭크에 영향이 미치지 않아서 괜찮다는 건 이해하기 어렵습니다. 아무튼 더 이상 언급 하는건 감정소모일것 같습니다. 감사합니다.