[EXPERIMENT] 모델별 학습

[nayohan]

모델별 학습 기록(Acc/F1)

• https://nayohan.notion.site/07-30bd7e17f7f44b078d22342d21131d65

1. Torchvision models

• [ ] VGG-19 with batch normalization
• [x] ResNet-18: class weight, bactch size 128, 74.365, 0.651
• [x] ResNet-34
• [x] ResNet-50
• [x] ResNet-101
• [x] ResNet-152
• [x] Densenet-121
• [ ] Densenet-169
• [ ] Densenet-201
• [ ] Densenet-161
• [ ] Inception v3
• [ ] ShuffleNet V2 x1.0
• [ ] MobileNet V2
• [ ] MobileNet V3 Large
• [ ] ResNeXt-50-32x4d
• [ ] ResNeXt-101-32x8d
• [ ] Wide ResNet-50-2
• [ ] Wide ResNet-101-2
• [ ] MNASNet 1.0

2. Timm models

• Timm What's New
• Timm Pretrained Model List

한번 시도해봐도 좋을 모델들을 리스트업 해봤습니다

• [ ] efficientnet
  • [ ] efficientnet_b0
  • [ ] efficientnet_b1
  • [ ] efficientnet_b3
  • [ ] efficientnet_b5
  • [ ] efficientnet_b7
• [ ] dm_nfnet.(돌아갈지는.. 좀 무겁습니다.)
  • [ ] dm_nfnet_f0 (83.464)
  • [ ] dm_nfnet_f1 (84.696)
  • [ ] dm_nfnet_f2 (85.178)
• [x] vit
  • [x] vit_large_patch16_384 (87.1 top-1)
  • [x] #12
  • [x] vit_base_patch16_384 (86.0 top-1)

비교적 최근에 나온 모델(2021)들로 진행해봐도 좋을거 같아요

• [x] #13
• [ ] eca_nfnet_l2 (84.7 top-1 at 384x384)
• [x] resnet51q (82.36 top-1)
• [x] efficientnetv2_rw_m (84.8 top-1, 53M params)
• [x] EfficientNet-V2S (83.3 top-1 @ 288x288.)

[wlsl8135]

b7은 정상적으로 동작하고 있습니다.

[KimDaeUng]

Pretrain model 구조, Head layer 재설정 이슈

• 아래는 ResNet18을 Pretrain model을 불러와 사용하는 예시입니다.

• 그런데 현재 구현된 EfficientNet_b0의 경우 기존 학습 모델 위에 새로운 레이어를 덧붙여 학습합니다.

• 그러나 기존 연구 결과에서는 신경망 후반부로 갈수록 특정 task나 data에 적합한 표현을 학습하므로 imagenet 분류에 학습된 모델의 마지막 레이어를 붙이는 것은 적절하지 않아 보입니다(참고). ResNet 작성 예시처럼 바꾸어서 돌려보시면 좋겠습니다.