[Discussion] Wrap-up Report를 위한 논의

[jae-heo]

📌 Description

Wrap-up Report를 작성하기 위해 자신이 작성하고자 하는 내용을 댓글로 남겨주시면 좋을 것 같아요. 인당 하나의 댓글을 작성해주시고, Edit 기능을 통해 내용을 수정하는 방향으로 가볼까요?!

✅ CheckList

• [ ] 작성 완료
• [ ] 노션으로 Migration

[jae-heo]

EDA -> 뇌EDA는 배터리가 문제일 줄 알았지만 ( 단순 데이터 수 ) 실제 추론시 문제는 General Trash (high std) battery의 경우 데이터의 수가 낮았지만, 모양이 거의 균일한 것과, focal loss로 커버되는 부분이 있어서 실제적으로 문제가 되지 않았던 느낌

실험한 모델 -> Cascade-RCNN, rtmdet, efficientdet, retina backbone -> swin, resnet 50 제작툴 -> NMS, Annotation, CSV merge, CSV validation, 사용 Framework -> mmdetection3

iou threshhold -> 낮게 설정해서 bbox가 많이 잡힐수록 mAP 50 스코어가 높게 나오는 경향이 있음 앙상블 시 nms 보다 wbf가 성능이 좋음. wbf의 thresh hold 적정값은 0.6이라는데, 그 이유는? 대부분 백본 모델보다 swin transformer를 적용했을때 좋은 성능. why? 몇몇 모델(DINO, Faster RCNN) 등은 학습 속도가 빠르고, 어떤 모델은 느린데 그 이유를 찾아봐야겠다. 실험의 경우 깃에서 관리하기가 곤란해서 wandb같은 플랫폼이 반드시 필요.

[faye-1221]

• 개요

  1. 소개, 평가 방법 간단하게

• 모델 각자 해본 것 정리 backbone 변경시 더 small이 잘 잡혔다~ 어떤 모델이 더 특정한 class에 대해서 잘 잡은 것 같다?

  1. retinanet<backbone, optimizer 변경>
  2. cascade<backbone, optmizer, scheduler 변경>

• EDA

  1. 클래스 별로 bbox가 몇 개 있는지 확인했다. -> 건전지의 경우 데이터 양이 작은데 한 사진의 여러장이 있는 경우도 있을 것 같아서 EDA 해봤는데 사진은 이랬고 괜찮을 것 같다.

• 기능 구현

  1. confusion matrix를 구현해서 어떤 클래스가 안잡히고 2개의 클래스를 모델이 혼동하는 것 같은 것을 확인했다. (ps. mmdetection에서도 구현되어 있어 사용가능하지만 .pkl로 바꾸고 사용해야하는 번거러움이 있었다.)
  2. 시각화 구현(ps. mmdetection inference 과정에서 사진을 저장할 수도 있다.) -> 시각화를 통해 bbox가 어떤식으로 되어 있는지 확인했고 눈으로 보는 것과 다르게 mAP50은 bbox가 많고, object가 있는 곳에 생성될 수록 좋게 나왔다.
  3. hook을 이용해서 best 모델일 때 저장했다, 학습&inference했다.

• 앙상블

  1. nms 보다 wbf가 더 좋게 나왔다? 왜 그런지, threshold를 얼마줘야했는지, 어떤 모델을 섞었는지

• mAP50

  1. mAP50에 관해서 bbox가 많은 것이 더 성능이 높게 나왔고 또 object가 있는 곳에 생성이 될수록 좋게나왔는데 서비스화를 하게되면 threshold를 적당히 설정해야한다는 것을 알게되었다.

• 협업

  1. github: 기본적으로 사용하게 될 코드를 미리 작성하고 한 점 의견을 많이 나눌 수 있었던 점이 좋았다, wandb: 자신의 모델이 다른 모델의 성능과 비교했을 때 어느정도의 수준인지 파악이 가능했다, kfold dataset 중에서 어떤 것이 좋게 나오는지 전반적으로 파악이 가능했다.

---

github 정리할 때 각자 config 파일 넣기

[Dong-Uri]

• 개요

  • efficentnet train, valid + inference 방법 설명 (readme에도 필요)

• 실험

  • class 불균형이 있었지만 성능과 비례하지 않았음
  • 작은 객체 탐지에 성능이 낮음 (자료)
    • 이미지 사이즈를 크게 학습 (자료)
    • 이외에 이에 대한 성능 개선 노력이 있다면 추가하면 좋을 듯

• 모델

  • effdet에 대한 개요 (짧게), 성능과 최적 opt, lr 찾는 과정 등 정리하도록 하겠습니다.
  • 각자 모델을 설명할때 쓰려고 한 이유 같은거 적으면 좋을 듯

• 아쉬운점

  • 이 부분 적을때 개선이 될수 있는 점들 중점으로 적으면 좋을것 같습니다. (다음 대회때 고쳐질게 보일 수 있는 것들)

[Revabo]

• 개요
  • AI stage 개요에서 필수적인 부분
  • 팀원 역할
• 실험
  • EDA (그림많이 활용)
  • Wandb 그래프로 실험 결과들 비교(default와 실험한 것 비교)
• 결과물
  • 리더보드 점수, 마지막 앙상블 했던 모델들 자세한 정보
• 아쉬운점
  • 요건 의견 취합해서 쓰기

[HeynaPark]

• 개요
  • 깔끔하게 정리되면 좋을 것 같아요
• 실험
  • 데이터 관련 : EDA 결과 클래스별 데이터셋 수의 편차가 큰 편이었다. 그러나 수가 적은 배터리, 옷 등의 특징이 분명하기 때문에 데이터 증강을 하지 않아도 성능이 다른 클래스 보다 높게 나왔다는 점
  • 모델 : 다양한 최신 모델 실험 결과 dino가 가장 높게 나왔고 backbone은 swin을 사용했을때
• 결과물
  • 결과 이미지, 그에 대한 분석
• 아쉬운 점
  • augmentation에 대한 많은 실험을 해보지 못한 점.
  • 결과에 대한 정밀한 분석 보다는 거의 모델 실험 위주가 되었던 점
  • 좋은 성능의 모델을 너무 늦게 찾은 점
  • Precision Recall이 중요 metric인데 강의에서 배운 PR curve를 많이 활용하지 못한 점
  • basic한 부분을 중점적으로 해서 advenced한 방법들을 많이 써보지 못함.