[track-4] tensorflow-lite사용 관련 문의

[HumanAI-B]

과거 글들을 읽다보니 'TensorFlow Lite로 convert는 기본적으로 압축옵션을 제공하므로 적절하지 않음'이라는 공지가 있던데, tensorflow-lite를 사용하여 quant된 모델은 허용하지 않는다는 의미인지요?

[ClovaAIAdmin]

Quantization 자체만으로 줄어드는 양은 괜찮으나(4byte FP --> 8bit).. Parameter 수 x 1byte 보다 작게 되는 부분을 방지하는 것이 목적입니다. 물론 정확하게 딱 떨어지진 않아도 되는데 이 루트외의 최적화 압축 부분이 들어가면 안된다고 보시면 됩니다. 모델 spec 찍고 파일크기 찍으면 바로 알수 있으니까요.

[HumanAI-B]

그럼 tf-lite 사용하여도 Parameter 수 x 1byte <15Mb 이면 사용이 가능하다는 의미인지요

[ClovaAIAdmin]

네 그렇습니다. 무리한 압축 및 해제가 아닌 Parameter 수 x 1byte <15Mb 형태면 가능입니다.

[wysung1]

이 대회가 모델압축인데 8비트 이하를 못사용하게 한다는 것은 도무지 이해할 수 없습니다. 지금 모델 압축은 1비트나 2비트로 하는 것이 추세인데, 지금 대회는 그냥 이미지인식 대회 같습니다. 그리고 처음에 모델을 준다고 하였는데 그 것도 없었고. 그러니 기준대비 성능열화를 따져볼 것도 없습니다.

[etc1234]

문제 스펙이 계속 바뀐 점, 최종 문제 상세와 실제 github 답변 사이에 inconsistency도 심각했던 점을 보면, 자문팀? 이 중간에 바뀌었거나 뭔가 깊은 사연이 있는 듯 싶습니다. 2차 대회 때는 좀 더 정리된 모습으로 진행되면 좋겠네요.

[ClovaAIAdmin]

이부분은 8bit로 고정하려고 했던 것은 아닌데 int8로 문의를 주셔서 1byte 로 설명을 적었던 내용입니다. 2xParameter * 4bit 등이 불가능한 것은 아니었는데 제대로 팔로업 못했던 부분 사과말씀 드립니다 ㅠㅠ.