LoFTR: Detector-Free Local Feature Matching with Transformers

e4exp commented 3 years ago

https://arxiv.org/abs/2104.00680
2021

本論文では，画像の局所的な特徴を照合するための新しい手法を提案する．画像特徴の検出、記述、マッチングを順に行うのではなく、まず粗いレベルでピクセル単位の密なマッチングを確立し、その後、細かいレベルで良好なマッチングを洗練することを提案する。対応関係を検索するためにコストボリュームを使用する密な方法とは対照的に、我々はTransformerの自己および交差注意層を使用して、両方の画像を条件とした特徴記述子を得ます。 Transformerが提供するグローバルな受容野により、本手法は、特徴検出器が通常は再現性のある関心点を生成するのに苦労するような低テクスチャ領域において、高密度な照合を行うことができます。屋内および屋外のデータセットを用いた実験では、LoFTRが最先端の手法を大差で上回ることが示された。また、ビジュアルローカリゼーションに関する2つのベンチマークにおいても、LoFTRは公開されている手法の中で1位を獲得した。

e4exp commented 3 years ago

結論

本論文では，Transformerを用いて粗いものから細かいものまで正確なセミデンスマッチを確立することができる，LoFTRと名付けられた新しい検出器不要のマッチングアプローチを紹介する．提案されたLoFTRモジュールは、Transformerの自己注目層と交差注目層を用いて、局所的な特徴を文脈や位置に依存するように変換する。我々の実験によると、LoFTRは複数のデータセットにおいて、相対的なポーズ推定と視覚的な位置特定において最先端の性能を達成した。 LoFTRは，局所画像特徴量マッチングにおける検出器不要の手法に新たな方向性を与えるものであり，季節変化の激しい画像のマッチングなど，より困難なシナリオにも拡張可能であると考えている．

e4exp / paper_manager_abstract

LoFTR: Detector-Free Local Feature Matching with Transformers #320