MFP3D：3D点群を活用した単眼カメラによる食品量推定

[fulfulggg]

タイトル: MFP3D：3D点群を活用した単眼カメラによる食品量推定

リンク: https://arxiv.org/abs/2411.10492

概要:

食事量の推定は、健康状態のモニタリングと食事摂取量の追跡に不可欠です。24時間思い出し法などの従来の方法に代わり、コンピュータビジョン技術を用いて食事場面の画像を分析する画像ベースの食事評価が普及しつつあります。しかし、2次元画像平面への投影による3次元情報の損失のため、画像から栄養成分を正確に推定することは依然として困難です。既存の食事量推定方法は、物理的な参照物体、高品質な深度情報、複数視点の画像や動画など、特定の要件への依存性があるため、実世界のシナリオへの展開が困難です。本論文では、単一の単眼画像のみを用いた正確な食事量推定のための新しいフレームワークであるMFP3Dを提案します。具体的には、MFP3Dは3つの主要モジュールで構成されています。(1) 2次元画像から食物の3次元点群表現を生成する3次元再構成モジュール、(2) 3次元点群と2次元RGB画像の両方から特徴を抽出し連結する特徴抽出モジュール、(3) 抽出された特徴に基づいて食物の体積とエネルギー量を推定する深層回帰モデルを用いた食事量回帰モジュールです。MFP3DはMetaFood3Dデータセットで評価され、既存の方法と比較して正確な食事量推定において大幅な改善を示しました。

[fulfulggg]

論文要約

論文要約: MFP3D：3D点群を活用した単眼カメラによる食品量推定

この論文では、一枚の写真からAIで食品の量(体積とカロリー)を推定する新しい手法「MFP3D」を提案しています。従来の手法は奥行き情報が不足していたり、特殊な機器が必要だったりしましたが、MFP3Dは普通のカメラで撮った写真一枚だけで推定できます。

MFP3Dは3つのステップで動作します。

1. 3D再構成: 写真から食品の3次元形状を点群データとして復元します。
2. 特徴抽出: 復元された3D形状と元の写真の両方から、食品の特徴を抽出します。
3. 食事量回帰: 抽出した特徴を元に、深層学習を用いて食品の体積とカロリーを推定します。

実験の結果、MFP3Dは既存の手法よりも高い精度で食品量を推定できることが確認されました。