fulfulggg
commented
2 weeks ago 論文要約
論文要約: QUB-PHEO: 協調組み立てにおける意図推論のための視覚ベース二者間マルチビューデータセット
-
目的: 人間とロボットの共同作業を改善するため、ロボットが人間の意図を理解するのを助けるデータセットを作成する。
-
方法:
- 70 人の参加者が「ロボット役」と「人間役」に分かれて、様々な組み立てタスクを行う様子を撮影。
- 36種類の細かい作業に分類し、顔の表情、視線、手の動き、物の位置などの情報を注釈として追加。
- 50人分の動画データと、70人全員分の視覚情報を含む2種類のデータセットを用意。
-
QUB-PHEOデータセットの特徴:
- 視覚ベース: 顔の表情や視線など、言葉以外の情報も豊富に含む。
- 二者間: ロボット役と人間役の両方の視点からデータを収集。
- マルチビュー: 複数のカメラで撮影し、多角的な情報を含む。
-
期待される効果:
- ロボットが人間の微妙な意図を理解するのに役立つ機械学習モデルの開発を促進。
- 人間とロボットのよりスムーズな共同作業の実現に貢献。
-
公開: エンドユーザーライセンス契約に基づき、https://github.com/exponentialR/QUB-PHEO にて公開。
タイトル: QUB-PHEO: 協調組み立てにおける意図推論のための視覚ベース二者間マルチビューデータセット
リンク: https://arxiv.org/abs/2409.15560
概要:
QUB-PHEOは、組み立て作業や意図推論における人間とロボットのインタラクション（HRI）研究を前進させる可能性を秘めた、視覚ベースの二者間データセットです。このデータセットは、36の異なるサブタスクにさらに分解された、さまざまな組み立てタスクを通じて、「ロボット代行者」として行動する2人の参加者間の豊富なマルチモーダルインタラクションを捉えています。70人の参加者について、顔のランドマーク、視線、手の動き、オブジェクトの位置特定など、豊富な視覚アノテーションが施されたQUB-PHEOは、50人の参加者向けの完全なビデオデータと、70人全員向けの視覚的な手がかりという2つのバージョンを提供しています。HRIのための機械学習モデルを改善するために設計されたQUB-PHEOは、微妙なインタラクションの手がかりや意図をより深く分析することを可能にし、この分野への貢献が期待されています。このデータセットは、エンドユーザーライセンス契約（EULA）に従って、https://github.com/exponentialR/QUB-PHEO で入手できます。