Detectron2でobject detection

[idekazuki]

epic kitchenの2020年2月現在のSOTA手法である3D-CNN and Faster-RCNNの実装を行うためにまずはFaster-RCNNのpytroch公式実装であるFAIRのdetectron2を試してみる。

目的： Detectron2をEpic-kitchenのデータセットでFine-tuingしてobject detectionを行う。

方法：

• データセットの準備 まずはデータセットの作成から始める。 Epic-kitchenのデータセットにはannotation dataがcsvで用意されている。 このデータを用いてdetectronに直接入力できるようなデータの形に整形していく。
• tutorialに従う。 Detectronは親切なことにcolaboratoryのnoteが準備されているのでこれに従って実装を行えばかんたんにobjectdetectionを行うことができると考えられる。

epic-kitchenのannotation dataの詳細：次のようなformatで格納されている。

[idekazuki]

noun_class,noun,participant_id,video_id,frame,bounding_boxes    
20,bag,P01,P01_01,056581,"[(76, 1260, 462, 186)]"
20,bag,P01,P01_01,056611,"[(84, 1190, 446, 204)]"

ちなみにbounding_boxesは{}のようにからのときがあるので注意。 すべてのデータで学習するのはきついので、一つの動画セグメントから代表して１フレーム取り出してデータセットを作成する。取り出し方はSOTA手法と同じで、セグメントの中央から取り出す。中央のフレームにbounding_box dataが含まれていないときには、中央に一番近いフレームでdataが格納されているものを使用する。

[idekazuki]

object detection 実装 file path /home/yanai-lab/ide-k/ide-k/EPIC-KITCHENS/annotations-master/EPIC_train_object_labels.csv