[공지] 10번, 11번, 12번, 13번 개별 leaderboard 초기화 완료

[bluebrush]

171 공지에 이어 초기화 진행이 완료되었습니다.

다시 한번 머리숙여 사과드립니다.

credit 보상 정책은 개별 문제당 500으로 leader board 기준으로 지급할 예정입니다. 복수 문제에 대한 최대 값은 1500 credit까지 지급

[singetta]

아... 방금 submit했는데 다른 분들 랭킹이 안나와서 봤더니 이런 문제가 있었군요. credit을 많이 사용했는데..... 여태까지 잘못된 문제를 풀고 있었던 거군요. 학습한 시간과 노력 대비 좀 허무하네요...게다가 문제당 300 credit이라니..

[heartcored98]

@singetta 저도 동의하는게 1번 문제 때 지급하셨던 것처럼 동일하게 300 credit은.. 1번 문제와 비교했을 때 task 특성상 훨씬 연산량이 많이 들어갈 수 밖에 없는데... 특히 10~13번에 주력했던 팀들 입장에서는 잘못된 metric을 보고 지금까지 시간과 노력을 들였을텐데 그거에 대비 너무 작은 보상이 아니지 않나 합니다...

운영진분들게 credit 보상량 증분에 대해서 다시 한번 고려해주심을 요청드립니다.

[bluebrush]

@singetta 님, 대단히 죄송합니다. 학습에 제공된 train 데이터에는 문제가 없어, train/validation 구성으로 진행하셨다면 기존 학습 결과를 재사용 가능할 것으로 예상하고 있습니다. 이부분 참고 부탁드립니다. 다시 한번 불편을 드려서 대단히 죄송합니다.

[bluebrush]

@heartcored98 님, 불편을 드려서 죄송합니다. 말씀하신부분을 포함해서 credit 보상의 적절한 규모를 다시 논의하도록 하겠습니다.

[qutrino]

스코어가 잘못되다보니, 알고리즘의 개선방향자체가 잘못된 방향으로 흘러 며칠을 소비한것 같습니다. 다른 문제도 제대로 풀어보지 못했고요. 해당 문제에 소비한 크레딧이나 서브밋 횟수에 비례하여 차등지급하는 것이 맞다고 생각합니다. 다시 한 번 심도깊은 논의를 부탁드립니다. 감사합니다.

[singetta]

@bluebrush 주취측에서 정답에 대한 문제가 있다는걸 오픈하고 수정한 점 감사합니다. 하지만 이번 문제를 통해 기존에 랭킹에 올랐던 분들이나 점수를 올리기 위해 시간과 힘을 쏟은 많은 팀들을 생각했을때 300크레딧은 약 5시간의 노력으로만 봤다고 생각이 듭니다. 말씀하신 것처럼 train 데이터에 문제가 없었지만 validation에 점수가 높아도 test때 점수가 낮은 세션은 공지에 올라왔듯이 저장 메모리 관리 차원에서 모두 삭제하였습니다. 다시 구현해서 학습 시켜 보고 결과 비교해봐야 합니다. 이렇듯 소비한 시간, 정답 변경으로 인해 소비할 시간 등을 고려해 주셨으면 좋겠습니다. 감사합니다.

[bluebrush]

@singetta @qutrino 님, 평가 label 문제로 불편을 드려서 대단히 죄송합니다. 많은 시간과 노력에 대한 credit의 기준이 어려운 점이 많습니다. 내부 협으로 아래와 같은 기준으로 변경 적용하기로 협의하였습니다.

1. 각 문제별 500 credit 인데, 문제수에 따라 최대 1500까지 지급.