🚢 Members

전다운	박정재	김규민	이융희	서경국

🔥 Contribution

• 전다운   ConvNeXt • BEiT • Model Experiment • Git management
• 박정재   Data Preprocessing • SwinL • Model Experiment • Pseudo Labeling • Stratified Kfold • Ensemble
• 김규민   Model Experiment • Loss • Hyper Parameter Tuning
• 이융희   Model Experiment • BEiT • SwinL • Ensemble
• 서경국   Model Experiment • UNet++ • Segformerm • HRNetV2 • SwinL • Pseudo Labeling

🏆 LB Score

• Public LB: 0.8250 mIoU(2등/19팀)
• Private LB: 0.7476 mIoU(8등/19팀)

🔎 Semantic Segmentation for sorting recycled items ♻️

문제 정의 ❓

• 바야흐로 대량 생산, 대량 소비의 시대. 우리는 많은 물건이 대량으로 생산되고 소비되는 시대를 삶에 따라 쓰레기 대란, 매립지 부족과 같은 사회 문제 발생
• 버려지는 쓰레기 중 잘 분리배출 된 쓰레기는 자원으로서 가치를 인정받아 재활용되지만, 잘못 분리배출 되면 그대로 폐기물로 분류되어 매립 또는 소각되기 때문에 분리수거는 사회적 환경 부담 문제를 줄일 수 있는 방법
• Deep Learning을 통해 쓰레기들을 자동으로 분류할 수 있는 모델 개발

⚙ Development Environment

• GPU : Nvidia Tesla V100
• OS : Linux Ubuntu 18.04
• Runtime : Python 3.8.5
• Main Dependency : Yolov5, MMdetection, Detectron2, Pytorch 1.7.1, OpenCV 4.5.1

💾 Dataset

• 전체 이미지 개수 : 3272장
• 11 class : Background, General trash, Paper, Paper pack, Metal, Glass, Plastic, Styrofoam, Plastic bag, Battery, Clothing
• 이미지 크기 : (512, 512)
• 평가 데이터 958개 노출 이슈
• 학습데이터는 2617(+958)장, 검증데이터는 655장, 평가데이터는 624장으로 무작위 선정

📐 Metrics

• Test set의 mIoU (Mean Intersection over Union)로 평가
• Example of IoU
• Example of mIoU (경진대회에서의 "C=11")

[참고사항]

• model로부터 예측된 mask의 size는 512 x 512 지만, 대회의 원활한 운영을 위해 output을 일괄적으로 256 x 256 으로 변경하여 score를 반영하게 되었습니다.

• mIoU (Mean Intersection over Union)

  • Semantic Segmentation에서 사용하는 대표적인 성능 측정 방법

🧪 Model Experiments

🔬 Ensemble Experiments

🎶 Ensemble Candidate

✂ Data Denoising

📢 Presentation

하이파이프_발표자료.pdf

Working Directory (04/28 update)

.
|-- code (git)
|   |-- examples
|   |   |-- baseline_model_feat
|   |   |   |-- bestmIoU_baseline_fcn_resnet50.ipynb
|   |   |   `-- wandb_baseline_fcn_resnet50.ipynb
|   |   `-- data
|   |       |-- convert_mmseg.ipynb
|   |       |-- data_concat_anno_exclude.ipynb
|   |       |-- data_concat_img_exclude.ipynb
|   |       `-- stratified_kfold.py
|   |-- mmsegmentation
|   |-- model
|   |   `-- mmseg
|   |-- baseline_fcn_resnet50.ipynb
|   |-- requirements.txt
|   `-- utils.py
`-- data
    |-- batch_01_vt
    |   `-- 0002.jpg
    |-- batch_02_vt
    |   `-- 0001.jpg
    |-- batch_03
    |   `-- 0001.jpg
    |-- mmseg
    |   |-- ann_dir
    |   |    |-- train0~4
    |   |    |    `-- *.png
    |   |    `-- val0~4
    |   |         `-- *.png
    |   `-- img_dir
    |       |-- test
    |       |    `-- *.jpg
    |       |-- train0~4
    |       |    `-- *.jpg 
    |       `-- val0~4
    |              `-- *.jpg
    |-- stratified_kfold
    |   |-- train0~4.json
    |   `-- val0~4.json
    |-- new_train_all_anno_excluded.json
    |-- test.json
    |-- train.json
    |-- train_all.json
    `-- val.json

MMSegmentation 설치

설치 예시

conda create -n open-mmlab python=3.10 -y
conda activate open-mmlab

conda install pytorch=1.11.0 torchvision cudatoolkit=11.3 -c pytorch

pip install mmcv-full -f https://download.openmmlab.com/mmcv/dist/cu113/torch1.11/index.html

# mmsegmentation을 설치할 경로 설정. 저는 저희 깃 폴더 내부에 설치했습니다.
cd ... code/

git clone https://github.com/open-mmlab/mmsegmentation.git
cd mmsegmentation
pip install -e .  # or "python setup.py develop"

train_all.json과 data.json 합치기

• _data_concat_annoexclude.ipynb 실행 : category가 'UNKNOWN'이거나 segmentation이 빈 annotation을 제외하고 concatenation이 진행된다.

Train & Validation Split

1. 먼저 train_all.json과 data.json 합치기를 진행한다.
2. _stratifiedkfold.py 실행 : Stratified K-fold로 나누어진다. (default 5-fold)

Convert to MMSegementation Format

1. 먼저 Train & Validation Split를 진행한다.
2. _convertmmseg.ipynb를 실행한다.