🚧 2022: Inertial Hallucinations -- When Wearable Inertial Devices Start Seeing Things

[kunimasa-kawasaki]

Inertial Hallucinations -- When Wearable Inertial Devices Start Seeing Things Alessandro Masullo, Toby Perrett, Tilo Burghardt, Ian Craddock, Dima Damen, Majid Mirmehdi https://arxiv.org/abs/2207.06789

[kunimasa-kawasaki]

我々は、アンビエント・アシステッド・リビング（AAL）のために、特権情報を用いた学習（LUPI）を利用したマルチモーダルセンサ・フュージョンへの新しいアプローチを提案する。我々は、標準的なマルチモーダルアプローチの2つの主要な欠点、限られたエリアカバレッジと信頼性の低下に対処する。我々の新しいフレームワークは、推論時にセンサーの欠落を扱うために、異なるモダリティを持つモデルを訓練するために、モダリティの幻覚の概念とトリプレット学習を融合させるものである。提案モデルをウェアラブル加速度センサデバイスからの慣性データ、RGBビデオとスケルトンを特権的モダリティとして用いて評価し、UTD-MHADデータセットで平均6.6%、バークレーMHADデータセットで平均5.5%の精度向上を示し、これらのデータセットにおける慣性のみの分類精度で新たに最先端となることを確認する。