[2021] UP-DETR: Unsupervised Pre-training for Object Detection with Transformers

gatheluck / PaperReading

Notes about papers (in Japanese)

0 stars 0 forks source link

[2021] UP-DETR: Unsupervised Pre-training for Object Detection with Transformers #197

Open gatheluck opened 3 years ago

gatheluck commented 3 years ago

論文リンク

arXiv

公開日（yyyy/mm/dd）

2020/11/18 CVPR 2021

概要

TeX

% yyyy/mm/dd
@inproceedings{
    dai2021up,
    title={UP-DETR: Unsupervised Pre-training for Object Detection with Transformers},
    author={Zhigang Dai and Bolun Cai and Yugeng Lin and Junying Chen},
    booktitle=CVPR,
    year={2021}
}

gatheluck commented 3 years ago

DERT(Transformerによる物体検出)を教師なしで事前学習する手法（UP-DERT）を提案. 画像から切り出したパッチをクエリとして、画像全体からクエリを検出するように、事前学習を行う. 通常のDERTよりも高精度かつ収束も早い.

gatheluck commented 3 years ago

工夫した点として下記の２点がある。

Multi-task learning：random query patch detectionが画像分類のための特徴量を破壊しないように、バックボーンの重みを固定し、パッチ特徴の再構成（Transformerの特徴量とCNNバックボーンの特徴量が近くなるようにする）を行なった.
Multi-query localization：複数の物体検出に対応するために、マルチクエリへの拡張も行なっている.

gatheluck commented 3 years ago

実験の結果

提案手法はPASCAL VOCとCOCOの両方でDERTと比較して、収束が高速で、精度も向上した.
また、one-shot detection や panoptic segmentation への転移学習もDERTと比較して良い結果.