exp : upernet + ConvNext

[quasar529]

Description

mmsegmentation 이용해 upernet + ConveNext 모델 실험.

Details

• Transformer 기반 Network와 유사 혹은 그 이상의 성능을 보인 CNN 기반 Network인 ConvNext 사용해서 점수 향상 도모.
  • swin, vit 등을 backbone으로 하는 경우 모델의 규모가 너무 커서 batch size를 1 or 2로 해야하는 제약 사항 존재
  • 같은 이유로 학습시간 너무 길어져 실험에 지장.
• base, xlarge 사용
• lr_config, optimizer 등은 기존 config 대로 실험.

  Reference / Image

[quasar529]

upernet_convnext_xlarge_fp16_640x640_160k_ade20k, 100 epochs

100th epoch mIoU

• mIoU: 0.7605
• IoU.Background: 0.9704,
• IoU.General trash: 0.5312,
• IoU.Paper: 0.8246,
• IoU.Paper pack: 0.6605,
• IoU.Metal: 0.7534,
• IoU.Glass: 0.7459,
• IoU.Plastic: 0.6271,
• IoU.Styrofoam: 0.8376,
• IoU.Plastic bag: 0.8874,
• IoU.Battery: 0.8035,
• IoU.Clothing: 0.7236

LB : 0.7405

[quasar529]

Albumentations 적용

• aug 실험 진행 시 좋은 성능을 보인 augmentations 조합 적용하여 학습.
  • dict(type="Rotate", limit=(-30, 30), p=0.5), dict(type="GridDropout"), dict(type="ColorJitter"), dict( type="CropNonEmptyMaskIfExists", height=256, width=256, ignore_values=[[0, 0, 0]], )

[quasar529]

90th epoch mIoU

• "mIoU": 0.7401,
• "mAcc": 0.8419,
• "IoU.Background": 0.9685,
• "IoU.General trash": 0.5033,
• "IoU.Paper": 0.8215,
• "IoU.Paper pack": 0.6381,
• "IoU.Metal": 0.7093,
• "IoU.Glass": 0.7446,
• "IoU.Plastic": 0.6146,
• "IoU.Styrofoam": 0.8223,
• "IoU.Plastic bag": 0.8782,
• "IoU.Battery": 0.7593,
• "IoU.Clothing": 0.6819

LB : 0.7438

+) 다른 epoch도 제출 후 비교예정

[quasar529]

[quasar529]

upernet + ConvNext 가 학습속도 및 mIoU에서 월등한 성적.

추후 k-fold Ensemble 해당 모델로 진행 예정.