그랜드 챌린지 Tr4 총평 - 서울대 성원용교수

이번에 AI그랜드챌린지 track4에 참가한 서울대 전기정보공학부의 성원용교수입니다. 우리 연구실은 좋은 성적이 안 나왔는데, 꼭 등수안에 못 들어서가 아니라 이번 대회의 운영에 참으로 유감이 많습니다. 우리는 모델 경량화라 하여 참가를 하게 되었고, Google Scholar 찾아보시면 알겠지만 우리 연구실의 모델 경량화 논문 (pruning, 고정소수점)은 citation이 수백번짜리가 세편이상 있고 지금도 계속 연구를 하고 있습니다.

그런데 대회는 처음의 공고와 전혀 다르게 진행이 되었습니다. 처음에는 모델경량화를 위한 reference model과 data 를 주겠다고 하였는데 결국은 reference model이 제공이 안되었습니다. 제가 생각하기에 여기에 준 데이터인 aihub의 생활데이터로 모델을 훈련하는데 실패를 하였을 것입니다. 아마 aihub의 데이터로 모델을 훈련시키면 누구라도 엄청나게 overfitting된 모델을 얻을 것입니다. 그 까닭은 다음과 같습니다. aihub의 주어진 데이터를 보면 그 숫자가 80만장으로 엄청 많습니다. 41개 모델에 80만장이면 충분하다 생각할 것입니다. 그런데 그 데이터를 보면 입이 안 다물어집니다. 하나의 사물을 놓고 (예를 들면 bag) 여러대의 카메라로 각도를 조금씩 돌려가면서 찍었습니다. 그래서 하나의 사물로 심지어는 거의 1000개에 달하는 이미지를 만든 데이터입니다. 한마디로 누가 왜 이런 데이터를 만들었는지 이해가 안갑니다. 사람 1000명의 얼굴을 돌려가면서 100만장으로 만들었으면, 그 것이 1000명의 사진인가요, 아니면 100만장의 사진인가요? 그렇기 때문에 그 모델로 훈련해서는 심각한 오버피팅이 나옵니다. 그리고 주최측에서는 그 데이터의 일부와 주최측이 마련한 일부의 다른 데이터로 테스트셋을 만들었다 합니다. 그래서 이 게임은 그 주최측의 데이터와 어떻게 확률적으로 비슷한 훈련셋을 가지고 있느냐로 일부 흘러갔습니다. 모델압축이 아니라 guessing game 이 되었다 봅니다. 도중에 주최측에서 특별한 추가의 데이터없이도 이 챌린지를 진행할 수 있게 하겠다는 메일도 왔었는데 나는 좋은 성적을 거둔 참가자들이 추가의 데이터없이 결과를 얻었나 알고 싶습니다. 나도 물론 인터넷에서 긁은 데이터를 사용해야 하였습니다.

두번째로 모델 압축은 요즘 대부분 2비트 정도에서 논문을 쓰고 경쟁을 합니다. 그래서 우리도 4비트모델을 만들고 더 비트수를 낮추려 했는데 어제인가 그저께인가 8비트보다 작은 비트는 안 된다고 다시 공고가 되었습니다. 그리고 내부의 activation quantization 도 다 필요가 없는 게임이 되었습니다. 한마디로 모델압축과는 전혀 관련이 없는 챌린지가 되었습니다.

아무튼 5등이내 합격한 분들은 어떤 식으로든 난관을 뚫고 입상을 하게 되어서 축하를 드립니다. 그러나 주최측이 야기한 혼란과 그 때문에 겪은 불편에 대해서는 참가자로서 참으로 화가 납니다. 수영대회라 해서 참가했는데 5종경기가 되었습니다. 그리고 국가가 조성한 데이터가 얼마나 허접한가도 알게되었습니다. 나는 기회가 있는데로 이렇게 엉터리 데이터를 국가돈으로 만드는데 대해서, 그리고 이렇게 대회가 계획없이 진행이 된데 대해서 성토를 할 것입니다. 읽어주셔서 감사합니다.

제가 느낀 바를 정확하게 써주셔서 감사합니다. 데이터셋 보고 내 세금이 이렇게 낭비가 되고있구나를 느꼈습니다 ㅎㅎ 대회 진행하면서 경량화 기법 빼고는 다 해본것 같네요!

안녕하세요? 성원용 교수님 그리고 다른 참가자 여러분. 먼저 챌린지 진행하시느라 정말 수고 많으셨습니다. 그리고 여러가지 혼란을 드린 점 대단히 죄송하게 생각합니다. 저희쪽 관점에서 고민거리를 말씀드리면 다음과 같습니다. 참고로 어느쪽을 비판하려는 의도는 없다는 점 말씀 드리겠습니다.

Inference only 환경에서 경량화 경진대회의 문제점
- 경량화 모델 경진대회는 어떤 방법이건 일정 수준 이상의 작은 크기의 모델을 만들면서 정확도를 유지할 것이냐가 본질입니다. 그래서 데이터 확정이 필요하다고 말씀 주셔서 ImageNet 과 같은 데이터는 너무 크고 크기가 작은 fine-grained 공개데이터셋도 fitting을 시켜버리면 끝나기 때문에 어려움이 있었습니다. 그래서 AiHub에 업로드된 상품데이터를 활용하기로 결정했고 AiHub 데이터만 사용하면 overfitting 시키면 되기 때문에 이를 막기 위해 저희 보유 데이터도 평가 데이터에 추가를 시켰습니다. 가장 깔끔한 방법은 저희 데이터를 훈련에 사용토록 공개하는 것이지만 이는 법무적인 문제로 불가능했습니다. (테스트 데이터 공유도 안되는 상황이라 ㅠㅠ). 준비기간이 많이 부족했던 부분때문에 AiHub 데이터를 제대로 다 챙겨보지 못한 저희에게도 문제가 있겠습니만 평가셋에는 AIHub데이터와 저희데이터가 섞여 있는 상황이라 AiHub데이터를 상당히 많이 맞추고 저희데이터를 일부 맞추는 형태가 되도록 세팅을 했습니다. 그러나 문제의 본질은 Inference only이다 보니 그 누구도 외부데이터 활용 여부를 체크할 방법이 없다는 점입니다. (사실 reproducing으로 검증을 하는 것도 현실적으로 불가능합니다. ㅠㅠ) 이것은 어떤 데이터를 문제로 써도 마찬가지라고 생각합니다.

기존 대회 처럼 Training을 NSML상에서 하는 대회였다면 저희 데이터를 반출 불가능하게 세팅하고 훈련-평가를 했다면 아마 이런 문제가 없었을 거라고 생각합니다. 여러 대회 준비진행 관련 어려운 점이 있었지만 어쨋든 데이터 확보 전쟁으로 갈 수 밖에 없게된 점 다시한번 사과 드리며 원할하고 빠르게 대회 진행을 위해 현실적으로 가장 혼란을 줄이는 형태의 선택을 할 수 밖에 없었던 점 말씀드리고 싶습니다.

경량화 제한 관련: 초기에 zip압축해서 올리고 압축을 풀어서 하는것이 가능하냐를 포함한 여러가지 모델 사이즈를 대회 취지에 맞지 않게 줄일 기법들에 대해 문의를 주신 분들이 계셨는데요. 이러다 보니 그레이한 방법들이 많이 생겨 결국 프레임워크 제공 함수로 귀결되는 형태로 된 것 같습니다. 사실 3-4bit 를 쓰고 파라미터를 그만큼 늘리는 방법도 활용할 수 있었으면 좋았을 텐데 그런 부분을 서포팅 하지 못한 부분 사과말씀 드립니다.

다시 한번 운영진으로써 여러 혼란을 드린 점 사과 말씀드리며 앞으로 챌린지 운영관련 피드백 받아 문제를 최소화 하도록 IITP와 논의 하겠습니다.

안녕하세요? 성원용 교수님 그리고 다른 참가자 여러분. 먼저 챌린지 진행하시느라 정말 수고 많으셨습니다. 그리고 여러가지 혼란을 드린 점 대단히 죄송하게 생각합니다. 저희쪽 관점에서 고민거리를 말씀드리면 다음과 같습니다. 참고로 어느쪽을 비판하려는 의도는 없다는 점 말씀 드리겠습니다.

Inference only 환경에서 경량화 경진대회의 문제점

경량화 모델 경진대회는 어떤 방법이건 일정 수준 이상의 작은 크기의 모델을 만들면서 정확도를 유지할 것이냐가 본질입니다. 그래서 데이터 확정이 필요하다고 말씀 주셔서 ImageNet 과 같은 데이터는 너무 크고 크기가 작은 fine-grained 공개데이터셋도 fitting을 시켜버리면 끝나기 때문에 어려움이 있었습니다. 그래서 AiHub에 업로드된 상품데이터를 활용하기로 결정했고 AiHub 데이터만 사용하면 overfitting 시키면 되기 때문에 이를 막기 위해 저희 보유 데이터도 평가 데이터에 추가를 시켰습니다. 가장 깔끔한 방법은 저희 데이터를 훈련에 사용토록 공개하는 것이지만 이는 법무적인 문제로 불가능했습니다. (테스트 데이터 공유도 안되는 상황이라 ㅠㅠ). 준비기간이 많이 부족했던 부분때문에 AiHub 데이터를 제대로 다 챙겨보지 못한 저희에게도 문제가 있겠습니만 평가셋에는 AIHub데이터와 저희데이터가 섞여 있는 상황이라 AiHub데이터를 상당히 많이 맞추고 저희데이터를 일부 맞추는 형태가 되도록 세팅을 했습니다. 그러나 문제의 본질은 Inference only이다 보니 그 누구도 외부데이터 활용 여부를 체크할 방법이 없다는 점입니다. (사실 reproducing으로 검증을 하는 것도 현실적으로 불가능합니다. ㅠㅠ) 이것은 어떤 데이터를 문제로 써도 마찬가지라고 생각합니다.

기존 대회 처럼 Training을 NSML상에서 하는 대회였다면 저희 데이터를 반출 불가능하게 세팅하고 훈련-평가를 했다면 아마 이런 문제가 없었을 거라고 생각합니다. 여러 대회 준비진행 관련 어려운 점이 있었지만 어쨋든 데이터 확보 전쟁으로 갈 수 밖에 없게된 점 다시한번 사과 드리며 원할하고 빠르게 대회 진행을 위해 현실적으로 가장 혼란을 줄이는 형태의 선택을 할 수 밖에 없었던 점 말씀드리고 싶습니다.

경량화 제한 관련: 초기에 zip압축해서 올리고 압축을 풀어서 하는것이 가능하냐를 포함한 여러가지 모델 사이즈를 대회 취지에 맞지 않게 줄일 기법들에 대해 문의를 주신 분들이 계셨는데요. 이러다 보니 그레이한 방법들이 많이 생겨 결국 프레임워크 제공 함수로 귀결되는 형태로 된 것 같습니다. 사실 3-4bit 를 쓰고 파라미터를 그만큼 늘리는 방법도 활용할 수 있었으면 좋았을 텐데 그런 부분을 서포팅 하지 못한 부분 사과말씀 드립니다.

다시 한번 운영진으로써 여러 혼란을 드린 점 사과 말씀드리며 앞으로 챌린지 운영관련 피드백 받아 문제를 최소화 하도록 IITP와 논의 하겠습니다.

이 것은 단순히 이정도의 사과로 넘어갈 문제가 아닙니다. 다른 분이 지적한 것처럼 모델 경량화 챌린지에 모델 경량화 빼놓고 모든 떡질을 다 해 보도록 만든 대회입니다. 대회를 운영하기 전에 미리 제대로 선행실험을 했어야 하는 문제입니다. 우리만 하여도 몇사람이 며칠 밤을 세웠고, 단 이틀동안에 구글 클라우드 200만원 어치 정도를 사용했습니다. 나는 그대로 넘어갈 수도 있지만 이대로 두어서는 이 대회가 절대로 개선이 안됩니다. 미안하지만 나는 내 손이 닿는한 모든 요소에 항의할 것입니다.

초기에 올라온 사이즈 관련 질문은 주로 sparse matrix 저장과 같은 내용이었던걸로 기억합니다. 이는 weight pruning 적용시 사이즈 이득을 얻을려면 꼭 필요한건데, 그걸 그레이한 방법이라고 하시는건 아니죠?

@hellcodes 네 물론 그런것은 아니었습니다.

@wysung1 네 교수님 해당 부분 데이터 준비 미흡했던 점 다시한번 사과말씀드리며 2차 대회때는 저희가 진행하게 될지 아닐지 모르는 상황이지만 여기나온 여러가지 피드백들은 2차 대회 준비하는 쪽에서 반영토록 인수인계 하겠습니다. (경량화에 한해서 Inference only 가 아닌 training 토록 하는 부분까지 포함 까지 잘 준비토록 전달 드리겠습니다.

@mckim527 네 의견 주시대로 공지형태로 재정리해서 올리겠습니다.

그냥 기존 MobileNetV2에 AIHub 데이터셋을 1500장정도 샘플링해서 학습한 결과 0.7333정도가 나왔었는데 아마 이것이 Baseline이라고 생각됩니다 (약 9MB정도). 이와 별개로 초반에 quantization과 pruning에 대해 혼란을 야기하도록 말이 바뀐 점 등은 문제가 있었다고 생각합니다.

저는 Tr4는 참가하지 않았으나 Tr1에 참여하면서 느낀 점 몇개 적어 보려고 합니다. (Clova AI Research 페이스북 공식 계정에서 본 대회를 언급한 게시물을 보고 여기에라도 글을 남기는 것이 좋을 것 같다는 생각이 들어 글을 쓰게 되었습니다)

윗글에서 ClovaAIAdmin 님께서 "어느쪽을 비판하려는 의도가 없다"고 글을 쓰셨지만 저는 명확히 대회 준비 팀의 준비 내용을 비판하기 위해 글을 씁니다.

Clova AI Research 페이스북 공식 계정의 게시물 내용에 근거해서 Clova_AI_Resarch 팀에서 "평가 데이터셋 구축", "베이스라인 구현" , "NSML 운영" 을 했다는 전제로 글을 적습니다. 만약 위 준비를 다른 곳에서 했다면 아래 제 비판은 Clova AI가 아니라 그 준비팀에게 하는 비판인 점 인지 부탁 드립니다.

참가팀들은 문제 정의서에 기반해서 준비를 하게 됩니다. 이번 대회에서는 베이스라인 구현이 문제 정의서를 따르지 않았기 때문에 참가팀들은 많은 혼란을 겪었습니다.

1-1: 문제 정의서에는 " 주최측에서 제공하는 load.py 파일은 샘플용이며, 참가팀은 해당 파일을 각 팀의 상황에 맞게 편집하여 사용" 이라고 명시되어 있습니다. 하지만 제공된 베이스라인 코드에서는 load.py를 찾을 수 없었습니다. 사소한 부분입니다.

1-2: 문제 정의서에는 최종 결과파일 csv파일명 작성에 대한 안내가 있습니다. t1res[team_ID].csv로 작성해야 하고 특히 team_ID 부분은 붉게 표시하여 주의깊게 작성해야 함을 의미합니다. 하지만 베이스라인코드에는 참가팀들이 작성하지 않도록 되어 있습니다. 혼란스러웠으나 역시 사소한 부분일 수 있습니다.

1-3: 파일명은 't1_cam1_0033.jpg' 라고 프레임 정보는 zero-leading 4자릿수로 되어 있습니다. 하지만 실제로는 't1_cam1_33.jpg' 처럼 zero-leading이 빠져 있습니다. 파일을 공개하지 않는 대회 규칙에서 이와 같이 동영상의 프레임 정보 표현 방법을 바꾸고 공지가 없는 것은 참가팀들을 큰 혼란에 빠트린다고 생각합니다. 실제로 저희 팀도 대회 마감 3시간전에 이 사실을 알았고 대회 기간내내 왜 우리 성적이 리더보드에서 엉망이었는지에 대한 해답을 얻을 수 있었습니다. 나중에 이슈를 보니 해당 부분에 대한 질의/응답이 있었던 것을 발견했습니다. 저희보다 성적이 낮아 아쉽게 상금을 획득하지 못한 팀 중에서 아직도 이 이슈와 관련된 버그를 모른 체 제대로 된 실력 발휘를 못 하고 대회를 끝낸 팀도 있을까 많은 걱정이 됩니다.

1-4. 베이스라인 코드 작성하는 분들은 왜 문제 정의서와 다르게 코드를 작성한 것일까요? 보통 참여팀은 그렇게 작성하면 사소한 부분이라도 조금만 다르게 작성하면 바로 무효 처리된다는 자세로 대회에 임합니다.

1-5. 위 내용을 실수나 버그로 제가 바라 봤다면 글에 적지 않았습니다. 개발에 실수가 없을 수 없습니다. 위 내용을 적은 이유는 모든 참여팀들이 꼼꼼하게 살펴 읽고 또 대회 운영의 근거가 되는 문제 규격서를 대회 준비팀은 중요하게 생각하지 않는 듯 하고 시정이나 공지 등의 대응이 미흡함 을 비판하고자 함입니다. 다음 대회때도 참여팀들은 대회 규격서만 의지해서 긴 시간 준비해야 하는데 이런 일이 재발하면 안된다는 생각입니다.
그 다음 얘기 하고 싶은 부분은 대회 바로 전날 일요일 저녁에 공지된 문제 규격의 변화입니다.

2-1 당초 안내되었던 1920x1080 해상도 15fps 규격이 inference time 이 오래 걸린다는 이유로 960x540 5fps 로 대회 전날 저녁 변경되었습니다. 시간이 오래 걸리는 경우 참가팀들이 스스로 해상도 줄이고 프레임수 줄여서 처리하면 그만입니다. 짧은 구간에서라도 고해상도 또는 높은 샘플링 비율로 정보 처리를 하여 잇점을 얻으려는 알고리즘을 준비한 팀들은 대회 직전에 해당 알고리즘이 무용지물이 되는 혼란 상황이 생기게 될 것이 뻔한대도 이에 대한 적절한 커뮤니케이션이 없었습니다. 참가팀 스스로 쉽게 해결할 수 있는 문제를 규격 변화를 통해서 준비된 알고리즘을 사용 못하게 하는 식으로 처리하는 것에 대한 적절한 해명이 필요해 보였습니다.

2-2 1920x1080 해상도에서 32픽셀 미만은 채점대상에 들어가지 않는 것이 당초 룰이었습니다. 960x540 으로 규격이 변경된 경우 16픽셀 미만으로 해당 기준도 같이 변경되는 것이 자연스러워 보이나 32픽셀 미만 제외 룰은 그대로였습니다. 기존 테스트 데이터에서 32픽셀 이상 64픽셀 미만인 바운딩 박스는 실신 대상이었으나 변경된 규격에서는 제외가 됩니다. 해당 크기의 사람을 찾기 위해 노력을 들인 팀과 그렇지 않은 팀간의 변별력이 대회 직전 뚜렷한 근거 없이 바뀌는 것에 대한 해명이 필요해 보였습니다.
대회 1주전에 참가팀들의 피드백을 통해 변경된 실신 행동 정의 변화에 대한 생각

3-1. 샘플 데이터와 함께 공유된 실신상황에 대한 정의로는 실신 상황에 대한 이해를 하기에는 부족했습니다.

3-2. 이후 AI-Hub의 실신 정의를 따르라고 하였으나 수 많은 동영상을 면밀히 분석해 봐야지만 실신 규칙을 어느 정도 짐작할 수 있고 파악한 규칙과 다르게 라벨링된 동영상도 많아서 규칙을 바르게 파악했는지도 혼란스러웠습니다.

3-3. 문제 정의서에서 발췌하고 있는 AI-Hub의 가이드 라인 부분도 문제 정의서 버전마다 바뀌었습니다. 특히 태깅기준을 "쓰러져 있는 행위가 10초 이내로 유지되는 경우 10초 이내로 쓰러짐을 태깅(쓰러지는 경우가 6초에서 멈추면 6초까지 태깅함)" 이라는 문장은 어떤 정보를 전달하는지 (주관적인 전제를 깔지 않는 이상) 알 수 없는 문장이라고 봅니다.

3-4. 이런 상황에서 의문이 드는 부분은 다음과 같습니다.
- 3-4-1. 300x300 = 90000 여장의 사진에 대해 실신한 사람 박스치는 작업을 하면서 그 기준에 대해 내부 논의가 없었을까?
- 3-4-3. 라벨링 작업을 조금이라도 해 본 분들은 모두 알 것입니다. 단순해 보여도 애매한 상황이 발생해서 협의하고 재 조정하는 작업을 여러번 하게 됩니다. 고양이 pose 분류하는 작업만 해도 미처 고려하지 못한 다양한 상황을 만나게 되는데 실신 상황은 정의하기 더 까다로와 테스트셋 준비를 하면서 여러번의 협의를 통해 정리되었을 것이라고 생각합니다.
- 3-4-3. 이런 상황에서 저희 참여팀들에게 보다 많은 샘플을 보여 주고 기준을 설명해 주는 것이 아니라 참여팀들의 피드백을 받아 기준을 번복하면서 문제 정의서가 전달되는 상황을 보며 저는 테스트데이터가 품질 높게 작성되지 않았으면 어쩌나 하는 불안감을 갖고 대회를 치러야 했습니다. IITP 로부터 "실신 상황" 이라는 러프한 정의를 전달 받아 대회 진행을 위해 미리부터 라벨링 데이터를 준비하고 그에 기반해서 테스트 코드를 작성한 Clova AI Research 팀에서 어떻게 테스트 셋이 작성되었는지에 대한 세부 기준을 참여팀에게 가이드 해 주거나 보다 풍부한 샘플 데이터를 보여 주는 것이 아니라 positive 샘플 1개 , negative 샘플 2개만 본 참여팀들의 피드백으로 기준을 대회 전 1주간에 바꾸는 것이 맞나 싶습니다. 그리고 그 바뀐 기준으로 며칠만에 품질 높은 테스트 셋이 갖추어 질 수 있는지도 의문이 듭니다.
NSML 시스템 준비에 대한 생각

4-1 NSML 시스템 자체는 훌륭할 수 있다고 봅니다.

4-2 하지만 이번 대회 기간 동안 저를 비롯해 많은 참여팀들이 NSML 파악 및 적응에 많은 시간을 허비했습니다.

4-3 이번 대회는 infernece-only 였습니다.
그리고 월요일 오후부터 가능했으니 만4일만에 끝내야 하는 대회였습니다. 그렇다면 그에 알맞는 안내가 있어야 한다고 봅니다. 메뉴얼도 이번 대회를 고려하지 않은 일반 메뉴얼이 제공되었습니다. 일반적인 메뉴얼이다 보니 이번 대회에서 만나는 난관 해결과 전혀 무관한 내용이 대부분일 수 밖에 없었습니다. 설명 동영상도 이번 대회를 위해 새로 작성된 것이 아니었습니다. 대회 기간이 짧고 inference-only라는 (기존 NSML 시스템 사용성 대비) 특이한 상황이면 그에 맞는 범위가 이번 대회로 좁혀진 내용의 안내가 있었어야 한다고 봅니다. git을 사용해 보지 않은 사람에게 git으로 파일 전송 시급성 있게 요청하면서 두꺼운 git 책을 주면 안되지 않겠습니까? Clovar AI Resarch 팀에게 이런 부분이 특히 아쉽습니다.

4-4. 300M 로 제한을 했으면 미리 알려주고 docker 연동에 대한 훈련 시간 또는 다운로드 서버 준비 시간을 대회 전에 미리 갖게 했어야 했습니다.
용량 제한 명시하지 않은 트랙에서 보다 높은 점수 획득을 위해 딥러닝 모델을 300M 이상으로 참여팀들이 준비하는 것은 충분히 예상할 수 있다고 봅니다. NSML 메뉴얼을 미리 읽어본 저도 docker 연동 없이도 가능한 듯 적혀 있어서 docker없이 사용하려고 했습니다. 대회 진행 중에 300M 제한을 알고 모델을 저장하는 도커를 그때서야 준비할 수 밖에 없었습니다. 도커에 익숙하지 않은 팀들이 미리 준비 없이 촉박한 대회 기간 동안 급하게 공부해서 준비하거나 도커 제작을 포기하고 외부에 별도의 모델 다운로드 서버를 마련하느라 당황했을 일을 생각하면 매우 안타깝습니다. 일반적으로 부정행위 방지를 위해 inference시 외부 데이터 다운로드가 금지되는게 보통인데 참여팀에서 스스로 다운로드 서버를 만들어야 하는 상황이 생길 거라고 전혀 상상할 수 없었습니다. 아~ 이런 중요한 사실이 미리 고지되는 것이 아니라 참여팀이 대회 기간에 스스로 알아내어 이슈에 올리고 답변을 들어야 하다니. 우리 나라 최고 AI 회사인 Naver Clovar 에서 운영하는 대회에 내가 참여하고 있는 것이 맞나 싶었습니다. (클라이언트 업로드가 NSML 서버 기준으로는 다운로드 일 터인데 용량제한이라고 막아 놓고 다운로드는 허용하는것이 네트워크 트레픽 제어 관점에서는 납득하기 어려웠습니다. 몇 G 가 넘는 Nvidia docker 등으로 감싸는 경우 트랙픽은 도리어 어마어마하게 올라갑니다. 대회 기간 혼란스러운 것이 많아 이 정도는 그냥 그려려니 했습니다.)

4-5 대회 플랫폼으로서 우수할 수도 있는 NSML을
이번 대회처럼 준비가 부족한 상태로 참여팀들에게 제공하여 AI 모델 고도화 자체에 집중하지 못하게 한 부분은 심각하게 생각해 봐야 합니다.

긴 글 읽어 주셔서 감사합니다.

저는 Tr4는 참가하지 않았으나 Tr1에 참여하면서 느낀 점 몇개 적어 보려고 합니다. (Clova AI Research 페이스북 공식 계정에서 본 대회를 언급한 게시물을 보고 여기에라도 글을 남기는 것이 좋을 것 같다는 생각이 들어 글을 쓰게 되었습니다)

윗글에서 ClovaAIAdmin 님께서 "어느쪽을 비판하려는 의도가 없다"고 글을 쓰셨지만 저는 명확히 대회 준비 팀의 준비 내용을 비판하기 위해 글을 씁니다.

Clova AI Research 페이스북 공식 계정의 게시물 내용에 근거해서 Clova_AI_Resarch 팀에서 "평가 데이터셋 구축", "베이스라인 구현" , "NSML 운영" 을 했다는 전제로 글을 적습니다. 만약 위 준비를 다른 곳에서 했다면 아래 제 비판은 Clova AI가 아니라 그 준비팀에게 하는 비판인 점 인지 부탁 드립니다.

참가팀들은 문제 정의서에 기반해서 준비를 하게 됩니다. 이번 대회에서는 베이스라인 구현이 문제 정의서를 따르지 않았기 때문에 참가팀들은 많은 혼란을 겪었습니다. 1-1: 문제 정의서에는 " 주최측에서 제공하는 load.py 파일은 샘플용이며, 참가팀은 해당 파일을 각 팀의 상황에 맞게 편집하여 사용" 이라고 명시되어 있습니다. 하지만 제공된 베이스라인 코드에서는 load.py를 찾을 수 없었습니다. 사소한 부분입니다. 1-2: 문제 정의서에는 최종 결과파일 csv파일명 작성에 대한 안내가 있습니다. t1res[team_ID].csv로 작성해야 하고 특히 team_ID 부분은 붉게 표시하여 주의깊게 작성해야 함을 의미합니다. 하지만 베이스라인코드에는 참가팀들이 작성하지 않도록 되어 있습니다. 혼란스러웠으나 역시 사소한 부분일 수 있습니다. 1-3: 파일명은 't1_cam1_0033.jpg' 라고 프레임 정보는 zero-leading 4자릿수로 되어 있습니다. 하지만 실제로는 't1_cam1_33.jpg' 처럼 zero-leading이 빠져 있습니다. 파일을 공개하지 않는 대회 규칙에서 이와 같이 동영상의 프레임 정보 표현 방법을 바꾸고 공지가 없는 것은 참가팀들을 큰 혼란에 빠트린다고 생각합니다. 실제로 저희 팀도 대회 마감 3시간전에 이 사실을 알았고 대회 기간내내 왜 우리 성적이 리더보드에서 엉망이었는지에 대한 해답을 얻을 수 있었습니다. 나중에 이슈를 보니 해당 부분에 대한 질의/응답이 있었던 것을 발견했습니다. 저희보다 성적이 낮아 아쉽게 상금을 획득하지 못한 팀 중에서 아직도 이 이슈와 관련된 버그를 모른 체 제대로 된 실력 발휘를 못 하고 대회를 끝낸 팀도 있을까 많은 걱정이 됩니다. 1-4. 베이스라인 코드 작성하는 분들은 왜 문제 정의서와 다르게 코드를 작성한 것일까요? 보통 참여팀은 그렇게 작성하면 사소한 부분이라도 조금만 다르게 작성하면 바로 무효 처리된다는 자세로 대회에 임합니다. 1-5. 위 내용을 실수나 버그로 제가 바라 봤다면 글에 적지 않았습니다. 개발에 실수가 없을 수 없습니다. 위 내용을 적은 이유는 모든 참여팀들이 꼼꼼하게 살펴 읽고 또 대회 운영의 근거가 되는 문제 규격서를 대회 준비팀은 중요하게 생각하지 않는 듯 하고 시정이나 공지 등의 대응이 미흡함 을 비판하고자 함입니다. 다음 대회때도 참여팀들은 대회 규격서만 의지해서 긴 시간 준비해야 하는데 이런 일이 재발하면 안된다는 생각입니다.

그 다음 얘기 하고 싶은 부분은 대회 바로 전날 일요일 저녁에 공지된 문제 규격의 변화입니다. 2-1 당초 안내되었던 1920x1080 해상도 15fps 규격이 inference time 이 오래 걸린다는 이유로 960x540 5fps 로 대회 전날 저녁 변경되었습니다. 시간이 오래 걸리는 경우 참가팀들이 스스로 해상도 줄이고 프레임수 줄여서 처리하면 그만입니다. 짧은 구간에서라도 고해상도 또는 높은 샘플링 비율로 정보 처리를 하여 잇점을 얻으려는 알고리즘을 준비한 팀들은 대회 직전에 해당 알고리즘이 무용지물이 되는 혼란 상황이 생기게 될 것이 뻔한대도 이에 대한 적절한 커뮤니케이션이 없었습니다. 참가팀 스스로 쉽게 해결할 수 있는 문제를 규격 변화를 통해서 준비된 알고리즘을 사용 못하게 하는 식으로 처리하는 것에 대한 적절한 해명이 필요해 보였습니다. 2-2 1920x1080 해상도에서 32픽셀 미만은 채점대상에 들어가지 않는 것이 당초 룰이었습니다. 960x540 으로 규격이 변경된 경우 16픽셀 미만으로 해당 기준도 같이 변경되는 것이 자연스러워 보이나 32픽셀 미만 제외 룰은 그대로였습니다. 기존 테스트 데이터에서 32픽셀 이상 64픽셀 미만인 바운딩 박스는 실신 대상이었으나 변경된 규격에서는 제외가 됩니다. 해당 크기의 사람을 찾기 위해 노력을 들인 팀과 그렇지 않은 팀간의 변별력이 대회 직전 뚜렷한 근거 없이 바뀌는 것에 대한 해명이 필요해 보였습니다.

대회 1주전에 참가팀들의 피드백을 통해 변경된 실신 행동 정의 변화에 대한 생각 3-1. 샘플 데이터와 함께 공유된 실신상황에 대한 정의로는 실신 상황에 대한 이해를 하기에는 부족했습니다. 3-2. 이후 AI-Hub의 실신 정의를 따르라고 하였으나 수 많은 동영상을 면밀히 분석해 봐야지만 실신 규칙을 어느 정도 짐작할 수 있고 파악한 규칙과 다르게 라벨링된 동영상도 많아서 규칙을 바르게 파악했는지도 혼란스러웠습니다. 3-3. 문제 정의서에서 발췌하고 있는 AI-Hub의 가이드 라인 부분도 문제 정의서 버전마다 바뀌었습니다. 특히 태깅기준을 "쓰러져 있는 행위가 10초 이내로 유지되는 경우 10초 이내로 쓰러짐을 태깅(쓰러지는 경우가 6초에서 멈추면 6초까지 태깅함)" 이라는 문장은 어떤 정보를 전달하는지 (주관적인 전제를 깔지 않는 이상) 알 수 없는 문장이라고 봅니다. 3-4. 이런 상황에서 의문이 드는 부분은 다음과 같습니다.

3-4-1. 300x300 = 90000 여장의 사진에 대해 실신한 사람 박스치는 작업을 하면서 그 기준에 대해 내부 논의가 없었을까?

3-4-3. 라벨링 작업을 조금이라도 해 본 분들은 모두 알 것입니다. 단순해 보여도 애매한 상황이 발생해서 협의하고 재 조정하는 작업을 여러번 하게 됩니다. 고양이 pose 분류하는 작업만 해도 미처 고려하지 못한 다양한 상황을 만나게 되는데 실신 상황은 정의하기 더 까다로와 테스트셋 준비를 하면서 여러번의 협의를 통해 정리되었을 것이라고 생각합니다.

3-4-3. 이런 상황에서 저희 참여팀들에게 보다 많은 샘플을 보여 주고 기준을 설명해 주는 것이 아니라 참여팀들의 피드백을 받아 기준을 번복하면서 문제 정의서가 전달되는 상황을 보며 저는 테스트데이터가 품질 높게 작성되지 않았으면 어쩌나 하는 불안감을 갖고 대회를 치러야 했습니다. IITP 로부터 "실신 상황" 이라는 러프한 정의를 전달 받아 대회 진행을 위해 미리부터 라벨링 데이터를 준비하고 그에 기반해서 테스트 코드를 작성한 Clova AI Research 팀에서 어떻게 테스트 셋이 작성되었는지에 대한 세부 기준을 참여팀에게 가이드 해 주거나 보다 풍부한 샘플 데이터를 보여 주는 것이 아니라 positive 샘플 1개 , negative 샘플 2개만 본 참여팀들의 피드백으로 기준을 대회 전 1주간에 바꾸는 것이 맞나 싶습니다. 그리고 그 바뀐 기준으로 며칠만에 품질 높은 테스트 셋이 갖추어 질 수 있는지도 의문이 듭니다.

NSML 시스템 준비에 대한 생각 4-1 NSML 시스템 자체는 훌륭할 수 있다고 봅니다. 4-2 하지만 이번 대회 기간 동안 저를 비롯해 많은 참여팀들이 NSML 파악 및 적응에 많은 시간을 허비했습니다. 4-3 이번 대회는 infernece-only 였습니다. 그리고 월요일 오후부터 가능했으니 만4일만에 끝내야 하는 대회였습니다. 그렇다면 그에 알맞는 안내가 있어야 한다고 봅니다. 메뉴얼도 이번 대회를 고려하지 않은 일반 메뉴얼이 제공되었습니다. 일반적인 메뉴얼이다 보니 이번 대회에서 만나는 난관 해결과 전혀 무관한 내용이 대부분일 수 밖에 없었습니다. 설명 동영상도 이번 대회를 위해 새로 작성된 것이 아니었습니다. 대회 기간이 짧고 inference-only라는 (기존 NSML 시스템 사용성 대비) 특이한 상황이면 그에 맞는 범위가 이번 대회로 좁혀진 내용의 안내가 있었어야 한다고 봅니다. git을 사용해 보지 않은 사람에게 git으로 파일 전송 시급성 있게 요청하면서 두꺼운 git 책을 주면 안되지 않겠습니까? Clovar AI Resarch 팀에게 이런 부분이 특히 아쉽습니다. 4-4. 300M 로 제한을 했으면 미리 알려주고 docker 연동에 대한 훈련 시간 또는 다운로드 서버 준비 시간을 대회 전에 미리 갖게 했어야 했습니다. 용량 제한 명시하지 않은 트랙에서 보다 높은 점수 획득을 위해 딥러닝 모델을 300M 이상으로 참여팀들이 준비하는 것은 충분히 예상할 수 있다고 봅니다. NSML 메뉴얼을 미리 읽어본 저도 docker 연동 없이도 가능한 듯 적혀 있어서 docker없이 사용하려고 했습니다. 대회 진행 중에 300M 제한을 알고 모델을 저장하는 도커를 그때서야 준비할 수 밖에 없었습니다. 도커에 익숙하지 않은 팀들이 미리 준비 없이 촉박한 대회 기간 동안 급하게 공부해서 준비하거나 도커 제작을 포기하고 외부에 별도의 모델 다운로드 서버를 마련하느라 당황했을 일을 생각하면 매우 안타깝습니다. 일반적으로 부정행위 방지를 위해 inference시 외부 데이터 다운로드가 금지되는게 보통인데 참여팀에서 스스로 다운로드 서버를 만들어야 하는 상황이 생길 거라고 전혀 상상할 수 없었습니다. 아~ 이런 중요한 사실이 미리 고지되는 것이 아니라 참여팀이 대회 기간에 스스로 알아내어 이슈에 올리고 답변을 들어야 하다니. 우리 나라 최고 AI 회사인 Naver Clovar 에서 운영하는 대회에 내가 참여하고 있는 것이 맞나 싶었습니다. (클라이언트 업로드가 NSML 서버 기준으로는 다운로드 일 터인데 용량제한이라고 막아 놓고 다운로드는 허용하는것이 네트워크 트레픽 제어 관점에서는 납득하기 어려웠습니다. 몇 G 가 넘는 Nvidia docker 등으로 감싸는 경우 트랙픽은 도리어 어마어마하게 올라갑니다. 대회 기간 혼란스러운 것이 많아 이 정도는 그냥 그려려니 했습니다.) 4-5 대회 플랫폼으로서 우수할 수도 있는 NSML을 이번 대회처럼 준비가 부족한 상태로 참여팀들에게 제공하여 AI 모델 고도화 자체에 집중하지 못하게 한 부분은 심각하게 생각해 봐야 합니다.

긴 글 읽어 주셔서 감사합니다.

잘 읽어보았습니다. 잘 써주셔서 감사합니다. 이미지 사이즈가 바뀌었음에도 픽셀사이즈는 그대로 인 것은 한마디로 이 대회가 얼마나 비전문가에 의해서 무성의하게 진행이 되었나를 잘 보여줍니다. 그리고 아래의 내용은 저도 의심을 하고 있습니다. "이런 상황에서 진짜 의문이 드는 부분은 다음과 같습니다. 3-4-1. 300x300 = 90000 여장의 사진에 대해 실신한 사람 박스치는 작업을 하면서 그 기준에 대해 내부 논의가 없었을까?"

이 대회를 손집고 헤엄치기 처럼 일등할 수 있는 사람은 어떤 식으로든 테스트 데이터 생성정보에 가까운 사람입니다. 물론 구체적 물증은 없으니 의심입니다. 그런데 합리적이라 봅니다. 당연히 주최측은 테스트 데이터에 대해 공개적이던가, 아니면 해외의 공신력있는 곳에 맡기었어야 한다 봅니다.

아무튼 주최측은 저에게 '챌린지는 다 말이 많다. 이번 경험으로 다음에 우승하세요' 라는 식의 답변을 보냈는데 한마디로 승복할 수 없는 답입니다. 잘못된 것은 잘못된 것입니다. 나는 국가돈을 수십억원을 쓰는 대회를 이렇게 엉터리로 운영한 것에 IITP 원장이 제대로 사과하고 추후 이 대회가 제대로 진행이 되도록 문제를 제기할 것입니다. 이 글 쓰신분은 제개 본인의 이름과 이메일을 알려주시면 IITP원장에게 이의제기시 같이 넣겠습니다. 제 이메일(wysung@snu.ac.kr)로 보내주세요. 다른 분들도 문제점을 적으셔서 제게 보내주시면 반영하겠습니다.

글을 쓸까 좀 망설이다가 늦었습니다. 저는 트랙2(음성인지)에 참가했구요... 입상권에는 들지 못했습니다.(6위) 글을 쓰기 망설였던 이유는 순위권에 들지 못한 상태에서 이런 글을 올리는것이 어쨌거나 같은 조건에서 더 좋은 성적을 낸 다른 팀들의 결과를 폄훼하는거나 결과를 부정하려는 것처럼 보일까 우려했던 것이고, 글을 올리는 이유는 결코 그런 의도는 아니라는 점을 말씀드리고 싶습니다.

많은 분들이 문제점을 지적해 주셨고 저 또한 대부분 내용에 동의합니다. 그래서 간단히만 중요한 내용을 덧붙이고자 합니다. 리더보드에 6위로 올라가 있는 제 성적은 "random weight" 를 올려서 나온 결과입니다. (베이스라인 코드에서 weight file 의 파일명과 제가 저장한 파일의 파일명이 일치하지 않아서 생긴 결과이고, 그 이후로 다시 코드수정하고 결과를 제출해서 결국 새로 제출한 결과도 6위에 해당하긴 합니다.) 어쨌거나 요점은 대회와 문제의 설계가 잘못 되어 있다는 점입니다.

그밖에 제가 느낀점들입니다.

대회 전에 문제의 형식이 정확하게 정의되지 않음.
대회 운영 방식이 정확하게 설명되지 않아 많은 시간을 낭비함. 짧은 대회기간에 비교적 긴 시간을 대회 운영 방식을 파악하는 데 소비해서 결과적으로 대회의 의도와 다르게 진행됨.
베이스라인 코드가 무성의함.
문제 출제자가 문제 자체의 허점 및 평가척도의 허점을 파악하지 못함.
가치있는 문제를 풀었는가에 대한 회의

몇번의 대회에 참가해 본 경험으로 다른 대회들도 비슷한 문제를 가지고 있는 것 같습니다. 이런 이야기를 하는 것이 대회 중간이든 끝나고 나서든 결국 반영되지도 않고 푸념하는것 같아서 조용히 있었지만, 대회 발전을 위해서 꼭 필요한 것 같아 저도 이야기 해 봤습니다.

안녕하세요, 저는 이번 대회에서 한양대학교 AIHA 팀을 이끈 최정욱입니다. 이번 그랜드 챌린지를 준비한 주최측과 참여하신 모든 분들 수고많으셨고, 순위권 입상하신 팀들에게 축하 인사 드립니다.

저희 팀은 대회에 처음 나와서 많은 고생을 했는데, 좋은 경험으로 생각할 부분도 있지만 주최측의 운영에 아쉬운 부분도 분명 있었던 것 같습니다. 모델 경량화에 아주 관심이 많은 연구자로써 앞으로의 대회가 더욱 발전하길 기원하며, 제가 생각하는 가장 큰 아쉬움을 공유합니다. (대회 운영에 대해서 이미 많은 분들이 여러가지 내용을 지적해 주셨는데, 특히 AI-HUB 데이터셋의 문제, 문제 정의서가 계속 바뀌면서 모델 경량화의 중요성이 사라진 문제 등은 크게 공감합니다. 이에 대해서는 이미 많은 논의가 이루어진 것 같아 말을 줄입니다.)

제 생각에 이번 Track4 대회에서 가장 큰 혼란을 일으킨 부분은 "성능의 향상을 위해 추가적인 데이터 셋을 학습에 활용할 수 있게 된 점" 입니다. 보통 모델 경량화 연구는 주어진 TASK 에 대해 다양한 경량화 기법을 적용하기 때문에 데이터 셋은 고정됩니다. 모델 경량화의 목표가 (문제정의서에 나온대로) "주어진 모델/학습데이터를 토대로 성능은 유지하되 사이즈와 연산속도를 향상시키는 것"인데, 데이터 셋이 고정되지 않으면 모델 경량화 기법과 별개로 데이터 셋 확장을 통해 성능을 올릴 수 있기 때문입니다. 더욱이 이번 대회에서는 주어진 AI-HUB 데이터셋이 문제가 많아서 추가적인 데이터 셋 확보의 중요성이 커졌고, 실제로 많은 분들이 경량화 기법을 경쟁하기 보다는 좋은 데이터 셋을 추가하기 위해 많은 노력을 기울이신 것 같습니다. 의미 있는 경험이긴 하지만, 본 대회의 취지에는 크게 어긋나는 방향이라고 생각합니다.

추가 데이터 셋을 허용하는데 있어서 또다른 중요한 문제는 어떤 이미지를 추가하는게 좋은가에 대한 기준이 불명확하다는 점 입니다. 주어진 AI_HUB 데이터셋은 기준으로 삼기에 문제가 많습니다. (예컨대 AI_HUB 립케어블로셔 클래스를 보면 립스틱을 뚜껑을 닫은 상태로 여러 각도에서 사진을 찍었는데, 이는 네이버쇼핑 등에서 볼 수 있는 립케어블로셔 이미지와 많이 다릅니다.) 주최측에서는 "AI HUB 데이터 일부와 별도 제작한 외부 데이터"로 테스트셋을 구성했다고 했는데, 어떤 기준으로 구성이 되었는지 공개가 안되다보니 추가 데이터셋 생성이 추측 게임이 되어버린 것 같습니다. 운 좋게 최적의 세팅을 찾으신 분들도 있겠지만, 저희처럼 자체 제작한 데이터셋에서의 성능과 주최측 테스트 셋에서의 성능이 30% 이상 차이 나는 경우도 있었습니다.

이렇게 기준이 모호한 상태에서 대회가 진행되다 보니, 모델을 개발하는 과정이 합리적인 의사 결정 보다는 주먹구구식의 Trial-and-error 가 되었습니다. 대회에서 높은 성적을 거두는 것도 좋지만 그 과정에서 좋은 경험을 하는 것도 중요하다고 생각합니다. 하지만 추가 데이터셋을 허용함으로써 대회가 모델 경량화 기법의 합리적 경쟁이 아닌 주최측의 테스트셋을 추측하는 게임이 되어버린 점이 무척 아쉽습니다.

이러한 논란을 피하기 위해 왜 잘 알려진 데이터셋을 사용하지 않았을까 하는 의문이 듭니다. 앞서 ClovaAIAdmin께서는 Inference only 환경에서 ImageNet을 사용하지 못한 이유를 설명해주셨는데, ImageNet와 AI-HUB 데이터셋의 이미지 수 차이가 크지 않다는 점, 그리고 Direct Quantization 을 포함하여 ImageNet model을 적은 retraining overhead로 fine-tuning 할 수 있는 여러가지 기법이 있다는 점에서 동의하기 어렵습니다. 아울러 주최측과 참여팀들 사이의 의사소통에도 아쉬움이 남습니다. 문제정의서가 4번 바뀌면서 여러가지 조건이 달라졌는데, 이러한 조건이 어떤 기준으로 정해졌는지에 대한 설명이 부족하다고 생각합니다. 예컨대 모델 사이즈를 15MB로 제한한 것은 어떻게 정해진 것인가요? 특정 팀에 유리하지 않은 공정한 조건을 만들기 위해 애쓰셨을 것 같은데, 그 과정이 구체적으로 어떻게 이루어졌는지 알고 싶습니다.

총 3000장의 테스트 이미지 중 AI-HUB 이미지와 별도로 제작한 외부 데이터가 몇 대 몇의 비율인가?
총 3000장의 테스트 이미지에서, 클래스 당 이미지의 수는 몇 장인가? (즉, 밸런스가 맞는가?)
외부 데이터의 경우 이미지를 직접 촬영했는가, 아니면 크롤링을 통해 인터넷에서 수집한 이미지인가?
외부 데이터의 경우 직접 촬영한 이미지를 사용했다면, 이미지의 사이즈는 얼마이고, 촬영 당시 카메라 세팅은 어떻게 되는가?
외부 데이터의 경우 크롤링을 통해 수집한 이미지를 사용했다면, 수집한 이미지의 사이즈는 얼마이고, 어떤 키워드를 이용해서 클래스별 이미지를 수집했는가?
테스트셋에 포함된 이미지들이 클래스 별로 제대로 분류되었는지를 어떤 방법으로 검증했는가?

좋은 성적을 거두지 못한 경우, 준비한 모델이 어떤 문제인지를 알아야 더 발전할 수 있습니다. 테스트셋을 공개하지 않는 상황에서, 준비한 모델이 어떤 문제인지를 알려면 테스트셋에 대해 위와 같은 최소한의 정보가 필요하다고 생각합니다. 특히 마지막 항목의 경우 테스트셋 자체의 신뢰성에 대한 문제제기이니 신중하게 답변해주시길 부탁 드립니다. (저희는 직접 데이터셋을 만들 때 클래스 분류 기준이 모호하여 큰 어려움을 겪었습니다. 대회의 성능 평가에 사용된 테스트셋에서 모두가 납득할만한 기준으로 이미지가 분류되어있지 않다면, 그 데이터셋을 이용한 성능 평가 결과의 신뢰성에 큰 문제가 생긴다고 생각합니다.)

모델 경량화 연구를 활발히 진행하고있는 연구자로써 이런 대회가 관련 분야 연구에 큰 활력소가 된다고 생각합니다. 여러가지 제약조건 속에서도 의미있는 대회를 준비하기 위한 주최측의 노력에 감사드립니다. 앞으로의 대회에서는 더 많은 팀들이 만족스러운 경쟁을 할 수 있도록 이번 대회 과정에서 문제제기 된 내용들이 신중하게 고려되길 기원합니다.

참고로 EMC2 workshop에서 NeurIPS2020 을 타겟으로 진행하고 있는 모델 경량화 챌린지 정보를 남깁니다. (Challenge Website) https://emc2challenge.com/ (Challenge Description) https://docs.google.com/document/d/1dipWBYLgXALLWyJvUwe9dNtHa80Qy6PhALsqU7yEdcM/edit#heading=h.8w2assmox8fm/ 유명한 데이터셋 (ImageNet, COCO, PASCAL, GLEU)를 바탕으로 제한된 모델 사이즈 안에서 최고의 정확도를 겨루는 트랙과 최소 정확도 조건 속에서 모델 사이즈를 경량화 하는 트랙을 경쟁하는 것이 흥미롭습니다. 차기 대회 준비에 참고가 되길 기원합니다.

JeiKeiLim, Kts12345, hoondental, aiha-choj 님. 서울대 성원용교수입니다. 제가 써 놓은 글에 도움이 되는 댓글을 달아주셔서 감사합니다. 정보통신부에 제가 정식으로 이의 제기를 하였습니다. 그래서 다음 주에 담당 공무원과 면담을 하기로 하였습니다. 면담결과가 나오면 알려드리겠습니다. 특별한 부탁이 있는 분은 제게 이메일로 알려주시기 바랍니다 (wysung@snu.ac.kr). 그리고 이 면담에 같이 참여하고 싶으시면 제게 물으셔도 됩니다. 제가 시간과 장소를 알려드리겠습니다. 아무튼 지금 이 건은 종료된 것이 아니라는 것을 알려드립니다.

AI-GrandChallenge / round-1

그랜드 챌린지 Tr4 총평 - 서울대 성원용교수 #139