fulfulggg
commented
2 hours ago 論文要約
論文要約: 自己教師あり骨格ベース行動認識における新しいマスキング手法の提案
従来の骨格ベース行動認識モデルは、特定の特徴に過剰適合しやすいため、この論文では 空間階層と時間的注意機構に基づくクロス маскиング (HA-CM) と呼ばれる新しい手法を提案しています。
HA-CMの特徴
- 空間的な階層に基づくマスキング:
- 人体の関節のつながりを考慮し、重要な関節を優先的にマスクすることで、モデルがより広範囲な特徴を学習することを促します。
- 時間的な注意に基づくマスキング:
- 時間経過とともに重要な関節の変化に注目してマスクすることで、動きの流れをより効果的に学習します。
- クロスマスキング:
- 異なる視点からの情報を利用することで、より効果的な特徴学習を実現します。
結果
HA-CMは、既存の手法と比較して、3つの主要なデータセット (NTU-60, NTU-120, PKU-MMD) において、優れた認識精度を達成しました。
結論
HA-CMは、骨格ベース行動認識における自己教師あり学習において、より効果的な特徴学習を実現する新しいマスキング手法です。
タイトル: 空間階層と時間的注意機構に基づくクロス маскиングを用いた自己教師あり骨格ベース行動認識
リンク: https://arxiv.org/abs/2409.17951
概要:
自己教師ありスケルトンベースのアクション認識において、マスク再構成パラダイムは、効果的なマスキングを通じてモデルの改善とロバスト性を高めることから注目を集めています。しかし、従来の研究では、単一のマスキング基準に依存していたため、モデルが特定の特徴に過剰適合し、他の有効な情報を見落としていました。本稿では、空間的および時間的観点の両方からスケルトンシーケンスにマスキングを適用する、階層型および注意誘導型クロスマスキングフレームワーク（HA-CM）を提案します。具体的には、空間グラフにおいて、双曲空間を利用して関節の区別を維持し、高次元スケルトンの階層構造を効果的に保持し、関節階層をマスキング基準として採用します。時間フローにおいては、従来の距離メトリックを関節のグローバルアテンションに置き換えてマスキングを行い、高次元空間における距離の収束とグローバルな視点の欠如に対処します。さらに、クロスマスキングフレームワークに基づくクロスコントラスト損失を損失関数に組み込み、モデルのインスタンスレベルの特徴学習を強化します。HA-CMは、3つの大規模公開データセット、NTU-60、NTU-120、PKU-MMDにおいて、効率性と汎用性を示しています。HA-CMのソースコードは、https://github.com/YinxPeng/HA-CM-main.で公開されています。