[feat] Object recognition pipeline 구현

[jerry-ryu]

Overview

• 자율 주행 자동차의 단안 카메라로 RGB 이미지를 받아 각 물체를 인식하는 모델 파이프라인을 구축한다.

1. Object detection 모델: 적은 데이터로도 빠르고 정확한 학습이 가능하고, 물체를 인식해야 한다는 측면에서는 가장 적합한 task 정의이다. 하지만, Depth estimation과 통합하기 위해서는 pixelwise result가 필요하기 때문에 부적절하다.

2. Segementation 모델: pixelwise reult가 보장되어 있지만, Object를 pixel-wise로 인식하는 것에 따른 위험성이 있다. 또한 데이터를 라벨링하기 어렵고 얼마나 많은 데이터를 사용해서 fine-tuning해야 하는지 아직 알지 못한다.

3. Weakly supervised segmentation 모델: segmentation과 Object detection에 비해 데이터를 만들고 처리하기 쉽지만, 그만큼 다양한 데이터셋이 필요하다.

4. 3D object detection 모델: Depth estimation을 사용하지 않고 통합된 파이프라인으로 모든 task를 한번에 모델링한다는 것은 좋지만, 데이터 라벨링이 극상으로 어렵고 하드웨어에서의 동작 여부도 불분명하다.

Todo

각 모델 feasibility 확인

• [ ] Object detection을 depth estimation과 적절히 통합하는 방법
• [ ] Segmentation의 라벨링 난이도 및 위험성 완화 방법
• [x] Weakly supervised segmentation 및 3D object detection 모델 조사

Additional Context

• 적절한 모델 탐색 및 inf. 파이프라인 구축

[jerry-ryu]

Weakly supervised segmentation 방법이 가장 finetuning(데이터를 직접 제작)하기 편할 것으로 보임.