Objectron: A Large Scale Dataset of Object-Centric Videos in the wild with pose annotations

[JisuHann]

Objectron: A Large Scale Dataset of Object-Centric Videos in the wild with pose annotations

3DObjectDetection, 이미지에서 depth 추론 아이디어를 얻기 위한 논문 읽기 진행

Introduction

3D object understanding -> object-centric video dataset -> matching the data format for many down-stream vision task

• Object-centric approach, Objectron dataset : 물체 중심의 비디오, which capture different views of the same objects from different angles + 3D bounding box + accompanied by AR sessions metadata

Data Collection and Annotation

Object Categories & Data Collection

• Goal: capture objects in their common environment and in relative context
• Rigid & non-rigid object, non-rigid objects remain stationary/rotation/distinct texts
• AR solutions estimate their 3D coordinates

Data Annotation

: 수작업과 AR을 통한 데이터 annotation

• annotate 3D objects in a video clip and populate them to all frames in the clip
• use 3D world map to the annotator side-by-side with the images from the video sequence

3D IoU(Intersection over union)

다음 ipynb 코드에서 기준을 볼 수 있다.

간단히 말해서 Suther-Hodgman algorithm으로 polygon을 겹치고, convex hull 알고리즘으로 intersection을 계산한다.
컵이나 병과 같은 대칭 개체는 대칭축을 잡고 회전개체를 계산하여 구할 수 있다.

[JisuHann]

전체 학습 구조

설명 링크