[FEAT] Freezing - Githubissues

boostcampaitech7 / level1-imageclassification-cv-07

level1-imageclassification-cv-07 created by GitHub Classroom

1 stars 2 forks source link

[FEAT] Freezing #38

Closed yjs616 closed 3 weeks ago

yjs616 commented 4 weeks ago

🤷 작업할 기능 소개

early layer에서 freezing하고 일정 epoch 지나면 unfreezing

🔨 상세 작업 내용

상세 내용 열거

[x] unfreezing하는 epoch 실험

[x] freezing, unfreezing 진행 후 성능 비교

[x] 15 epoch 중 5단계로 나누어 Head -> Stem으로 unfreezing

[x] 15 epoch 중 5단계로 나누어 Stem -> Head unfreezing (accuracy 최악)

[x] 15 epoch 중 3단계로 나누어 Head -> Steam unfreezing

[x] 15 epoch 중 3단계로 나누어 Head -> Stem unfreezing (weight_decay = 0.0001 적용)

📄 참고 사항

참고사항 정리

yjs616 commented 3 weeks ago

실험 후 baseline으로 merge