Useful-Papers

[jinmang2]

해당 issue에 우리가 사용하는 모델 혹은 개념에 대한 논문들을 모으면 좋겠습니다!

베스트는 Pull Request 혹은 update commit을 여기에 #1 과 같이 호출하여 매핑시키면 좋겠고, 우선 저도 몇 가지 남기겠습니다!

• 뭔가 허예찬님이 주관하시는 3줄 요약 같은 걸 우리도 해보면 어떨까요?

[jinmang2]

Bag of Tricks for Image Classification with Convolutional Neural Networks

세 줄 요약

• 이미지 분류 성능 개선은 몇몇 학습 방법을 개선하여 얻어진다!
• 그 방법들로는 Weight Initialization, Large-batch training with Low precision, Linear scaling learning rate, Learning rate warmup, Zero gamma, No bias decay, Model tweaks, Cosine Learning Rate Decay, Label Smoothing, Knowledge Distillation, Mixup이 있다.
• 위 정확도 개선은 object detection과 semantic segmentation에도 이어졌다!

  Reference

• CNN 꿀팁 모름 - 방구석 논문 리뷰 백광록님

[lsh3163]

Do Better ImageNet Models Transfer Better?

세 줄 요약

• Imagenet의 분류 성능이 올라갈수록 Transfer learning의 성능이 올라간다.
• 정확도가 높은 모델일수록 Downstream task에서의 성능이 좋다.
• 고정된 가중치보다 해당 가중치부터 학습을 시작하는게 성능이 좋다.