VSFormer: 多様な視点セットにおける相関マイニングによる複数視点3D形状理解

[fulfulggg]

タイトル: VSFormer: 多様な視点セットにおける相関マイニングによる複数視点3D形状理解

リンク: https://arxiv.org/abs/2409.09254

概要:

視点ベースの手法は、3D形状理解において有望な性能を示してきました。しかし、視点間の関係について強い仮定を置いたり、多視点間の相関を間接的に学習したりする傾向があり、視点間相関の探求の柔軟性とターゲットタスクの有効性が制限されています。上記の課題を克服するために、本論文では、複数視点の柔軟な編成と明示的な相関学習について調査します。具体的には、3D形状の異なる視点を、\emph{View Set}と呼ばれる順列不変集合に組み込むことを提案します。これにより、厳密な関係の仮定が排除され、視点間での適切な情報交換と融合が促進されます。その上で、\emph{VSFormer}と呼ばれる軽快なTransformerモデルを考案し、集合内のすべての要素のペアワイズおよび高次相関を明示的に捉えます。同時に、ビューセットの直積と注意機構における相関行列との間に自然な対応関係があることを理論的に明らかにし、モデル設計をサポートします。包括的な実験により、VSFormerはより優れた柔軟性、効率的な推論効率、優れた性能を備えていることが示唆されます。特に、VSFormerは、ModelNet40、ScanObjectNN、RGBDなどのさまざまな3D認識データセットにおいて、最先端の結果を達成しています。また、SHREC'17検索ベンチマークでも新記録を樹立しています。コードとデータセットは\url{https://github.com/auniquesun/VSFormer}で公開されています。

[fulfulggg]

@yukihiko-fuyuki が以下のラベルを提案し、適用しました：

• 3D-scene-representation
• object-detection
• paper-implementation

[fulfulggg]

論文要約

論文要約: VSFormer: 多様な視点セットにおける相関マイニングによる複数視点3D形状理解

• 従来手法の問題点: 3D形状認識における視点ベースの手法は、視点間の関係に強い仮定を置いたり、相関学習が間接的であるため、柔軟性と有効性に課題があった。

• 提案手法:

  • 視点セット: 3D形状の様々な視点を順序に依存しない集合（視点セット）として扱うことで、視点間の関係の仮定を排除し、柔軟な情報交換と融合を実現。
  • VSFormer: 視点セット内の全ペア及び高次の相関を捉える軽量なTransformerモデル。
  • 理論的裏付け: 視点セットの直積と注意機構の相関行列の自然な対応関係を理論的に示し、モデル設計をサポート。

• 利点:

  • 柔軟性向上: 視点間の関係に制約がないため、多様な視点配置に対応可能。
  • 効率的な推論: 軽量なモデル設計により、高速な推論を実現。
  • 高精度: ModelNet40, ScanObjectNN, RGBD等のデータセットで最先端精度を達成。SHREC'17検索ベンチマークでも新記録を樹立。

• 結論: VSFormerは、柔軟性、効率性、精度に優れた、3D形状理解のための新たな視点ベースの手法。