앙상블 결과 - Githubissues

실험 결과

아래 3가지의 결과를 가지고 앙상블을 진행했다.

이중에서 단일 결과로는 cascade_dyhead_swinL이 0.6589로 근소한 차이로 가장 높았다.

결과로만 봤을 때는 atss_dyhead와 cascade_dyhead를 앙상블 했을 때 가장 성능이 높을 것 같지만 앙상블 결과로는 cascade_rcnn과 atss_dyhead를 앙상블 했을 때 0.6742로 가장 성능이 높았다.

여러가지 실험을 했을 때 iou는 0.4보다 0.6인 것이 성능이 좋았고 nms를 사용하기보다 WBF를 사용하는 것이 성능이 더 좋게 나왔다. (모든 실험에서 동일한 양상을 보였다.) skip_box_thr = 0.05로 사용해봤는데 0.001 정도 성능이 떨어진다.

atss_dyhead와 cascade_rcnn을 앙상블 했을 때 가장 성능이 높았던 이유는 둘이 서로 다른 구조를 가지고 있어서 라고 생각이 든다.

어떠한 방식으로든 atss_dyhead와 cascade_dyhead가 합쳐질 때는 전보다 성능이 안좋아지는 양상을 보인다. (둘을 합칠때는 물론이고 셋다 합칠 때 또한 성능이 낮아진다.)

이 세가지 모델을 가지고 학습을 진행한다면 atss_dyhead와 cascade_rcnn만 가지고 학습하는 것이 가장 좋은 결과를 얻을 수 있을 것이다.
iou가 어떤 것이 좋은지 정확히 정할 필요가 있다. 어쨋든 Recall이 높으면 높을수록 좋을 수 있으니까 iou가 높은게 좋을라나...? 그렇다면 어느정도로 높은 것...?
cascade_rcnn은 valid set을 만들지 않았을 때 돌린거라 train으로 valid를 한거로 알고 있는데 cascade_rcnn도 제대로 된 valid를 사용해서 더 좋은 결과를 얻으면 앙상블 했을 때도 더 좋은 결과를 얻을 수 있을 것이다.
atss_dyhead는 swin tiny이긴 하지만 detectron2로 구현되어있다. detectron2와 같이 앙상블을 진행해도 좋을 것 같다.
앙상블이 결과는 좋지만 일단 앙상블은 여기서 그만하고 다른 것에 더 집중해야 할 것 같다.