iscas3dv / handpose-virtualview

Efficient Virtual View Selection for 3D Hand Pose Estimation AAAI 2022
Other
76 stars 9 forks source link

如何对Azure Kinect DK拍摄的视频使用该算法? #8

Closed cstg-liuziyu closed 5 months ago

cstg-liuziyu commented 1 year ago

在项目网页上看到了你们的实践,但我自己并没有办法达到那样好的效果,想问一下实际使用的思路是怎么样的?

ME495 commented 1 year ago

对于Azure Kinect DK相机拍摄的RGBD图像,可以使用如下流程制作demo:

  1. 使用人手检测模型从彩色图像中检测出人手边界框
  2. 利用人手边界框,使用代码中的数据处理方法从深度图像中crop出人手深度图像
  3. 将处理后的深度图像输入姿态估计模型

实际的效果取决于你的训练数据,我一般使用在NYU数据集训练的模型,但是对于NYU数据集中没有出现过的手势效果会很差

cstg-liuziyu commented 1 year ago

感谢您的回答