fulfulggg
commented
3 weeks ago 論文要約
論文要約: RoMo: 全身に対しラベルなしオプティカルモーションキャプチャを行うロバストソルバー
この論文では、RoMoという、ラベル付けされていないオプティカルモーションキャプチャ(MoCap)データから、人体の動きを正確に捉えるための新しい手法を提案しています。
従来のMoCapシステムでは、計測データ(マーカーの位置情報)と体の部位を対応付けるラベル付けが必要で、この作業に手間が掛かっていました。RoMoは深層学習を用いることで、このラベル付けを自動化し、さらに精度の高い人体の動き解析を実現します。
RoMoの主な特徴と利点は以下の通りです。
- ラベル付けの自動化:
- 分割統治戦略を採用し、複雑な全身ラベル付けを、位置合わせ、全身セグメンテーション、パーツ固有のラベル付けという、より単純なサブタスクに分解します。
- マーカーの時間的連続性を活用し、グラフベースのクラスタリングアルゴリズムを用いて、マーカーの軌跡を生成します。
- 高精度なモーションソルビング:
- 運動学的連鎖に沿ったエラーの蓄積を防ぐため、ジョイント位置を中間表現として利用します。
- 推定されたジョイント位置に合わせてテンプレートスケルトンを調整するハイブリッド逆運動学ソルバーを導入しています。
- 従来手法を上回る性能:
- 複数の指標、多様なデータセットにおいて、従来手法と比較して、より高精度なラベル付けとモーションキャプチャを実現しました。
- 実用性の高さ:
- 手動ラベル付けの負担を軽減し、商用システムでは対応困難なシナリオにも適用可能です。
RoMoは、高精度なモーションキャプチャをより手軽に実現する技術であり、エンターテイメント、スポーツ、医療など、様々な分野への応用が期待されます。
タイトル: RoMo: 全身に対しラベルなしオプティカルモーションキャプチャを行うロバストソルバー
リンク: https://arxiv.org/abs/2410.02788
概要:
arXiv:2410.02788v1 発表タイプ: 新規 概要: オプティカルモーションキャプチャ（MoCap）は、全身の動きを正確に捉えるための「ゴールドスタンダード」です。生のMoCapポイントデータを利用するために、システムは対応する身体部位の位置でポイントにラベルを付け、全身の動きを解決します。しかし、MoCapデータには、誤ったラベル付け、オクルージョン、位置エラーが含まれていることが多く、広範な手動修正が必要です。この負担を軽減するために、生のオプティカルモーションキャプチャデータをロバストにラベル付けおよび解決するための学習ベースのフレームワークであるRoMoを紹介します。ラベル付け段階では、RoMoは分割統治戦略を採用して、複雑な全身ラベル付けの課題を、位置合わせ、全身セグメンテーション、およびパーツ固有のラベル付けという管理しやすいサブタスクに分解します。マーカーの時間的連続性を利用するために、RoMoはK部グラフベースのクラスタリングアルゴリズムを使用してマーカーの軌跡を生成します。このアルゴリズムでは、マーカーがノードとして機能し、エッジは位置と特徴の類似性に基づいて形成されます。モーションソルビングでは、運動学的連鎖に沿ったエラーの蓄積を防ぐために、ジョイント位置を中間表現として利用し、推定されたジョイント位置に合わせてテンプレートスケルトンを調整する、ハイブリッド逆運動学ソルバーを紹介します。RoMoは、複数のメトリックとさまざまなデータセットにわたって、高いラベル付けと解決の精度を実現することを示します。広範な比較により、私たちのメソッドが最先端の研究メソッドよりも優れていることが示されています。実際のデータセットでは、RoMoは手動ラベル付けのF1スコアを0.94から0.98に向上させ、身体モーションソルビングのジョイント位置エラーを25％削減します。さらに、RoMoは商用システムでは不十分なシナリオでも適用できます。RoMoのコードとデータは、https://github.com/non-void/RoMoで入手できます。