BORT

[Taekyoon]

• site: https://arxiv.org/pdf/2010.10499.pdf
• code: https://github.com/alexa/bort

[Taekyoon]

Skim을 하고 개인적인 논문 생각

• 논문 주제가 모델에 관련된 이야기가 아님 오히려 최적화된 sub set을 찾기위한 방법
• 어떻게 Bert의 optimal sub architecher를 찾는지를 보는 것이 중요
• W coefficient를 제시 했고 inference 속도, error rate, model volume 등에 대한 결과를 보고 새로운 지표를 측정
• W coefficient의 최적점을 찾고 그에 대한 모델 BORT를 제안
• 성능은 이런 탐색을 하다보니 찾게되 최적점 + 알파인 것으로 봄

나에게 있어 이 논문이 가치 있으려면

• 내가 모델 파라메터 서칭을 하는데 관심이 있거나
• 연산 최적화 알고리즘에 대한 관심이 있어야 가치가 있을 것