ポイント埋め込みTransformerを用いた複数視点からの手形状復元

[fulfulggg]

タイトル: ポイント埋め込みTransformerを用いた複数視点からの手形状復元

リンク: https://arxiv.org/abs/2408.10581

概要:

本研究では、現実世界のハンドモーションキャプチャシナリオでの実用化を目指し、POEMと名付けた、新規かつ汎用性の高いマルチビューハンドメッシュ再構成（HMR）モデルを提案する。POEMモデルの進歩は、主に2つの側面からなる。第一に、問題のモデル化に関して、マルチビューステレオ空間内に静的基点を埋め込むことを提案する。点は3次元情報の自然な表現形式であり、複数のビューにわたる多様な投影を考えると、異なるビュー間で特徴を融合するための理想的な媒体となる。その結果、私たちの方法は、シンプルでありながら効果的なアイデアを活用している。複雑な3次元ハンドメッシュは、1) マルチビューステレオに埋め込まれ、2) マルチビュー画像からの特徴を持ち、3) ハンドをその中に包含する、3次元基点の集合によって表現できる。第二の進歩は、トレーニング戦略にある。5つの大規模マルチビューデータセットを組み合わせて使用し、カメラの数、順序、姿勢をランダム化する。このような膨大な量のデータと多様なカメラ構成を処理することで、私たちのモデルは現実世界のアプリケーションにおいて顕著な汎用性を示す。その結果、POEMは、左右両方の手に対応する、ユーザーフレンドリーで費用対効果の高いマルチビューモーションキャプチャを可能にする、実用性の高いプラグアンドプレイソリューションを提供する。モデルとソースコードはhttps://github.com/JubSteven/POEM-v2で入手できる。

[fulfulggg]

@yukihiko-fuyuki が以下のラベルを提案し、適用しました：

• 3D-scene-representation
• point-cloud-completion
• paper-implementation

[fulfulggg]

論文要約

論文要約:

この論文では、複数の視点から撮影した画像を使って手の形を3Dで復元する新しい手法 POEM を提案しています。

POEMの特徴:

• ポイント埋め込み: 3次元空間上に多数の「基点」を配置し、手の形を表現します。この基点は複数の視点から撮影した画像の特徴を統合する役割を果たします。
• Transformerの活用: 基点間の関係性を学習するためにTransformerを使用します。
• 大規模で多様なデータセットによる学習: カメラの数や位置、向きが異なる大量のデータを使って学習することで、現実世界での様々な状況に対応できる高い汎用性を実現しました。

POEMの利点:

• 複雑な手の形を正確に復元できます。
• カメラの位置や向きに制約が少ないため、使いやすいシステムを構築できます。
• 右手と左手の両方に対応しています。

POEMは、費用対効果の高い、ユーザーフレンドリーなモーションキャプチャシステムの実現に貢献する技術です。