FrankMocap: A Strong and Easy-to-use Single View 3D Hand+Body Pose Estimator

[Jungduri]

FrankMocap: A Monocular 3D Whole-Body Pose Estimation System via Regression and Integration

official: repo: https://github.com/facebookresearch/frankmocap

Abstract

• Body, face, hand을 모듈화하여 각각의 SoTA 성능을 뽑아내고, 추후에 integration module을 통해 결과를 합쳐 whole-body pose estimation을 수행

Introduction

• Whole-body estimation의 단점
  • Body와 다른 타겟과의 Scale issue로 모델의 표현이 모두 해결하지 못하는 문제
  • 특히나 핸드의 경우, abrupt viewpoint changes, self-occlusions, motion blur등과 같은 문제가 심각함
• 따라서 한번에 해결하는 기존의 연구보다 모듈화된 것의 결과를 어떻게 합치는지 주안점이 맞추어져 있음.
• 논문의 의의
  • regression-and-integration idea 제시; 각각의 테스크의 장점을 최대한으로 활용
  • 출력을 통합하는데 3가지의 효율적인 방법을 제시: copy-paste full optimization, intermediate
  • 정량적, 정성적으로 제안하는 방식의 우수성 입증

Methods

Parameterization

• SMPL-X model을 사용.
  • 3차원의 global orientation
  • (21+15+15+1) x3 차원의 whole-body parameters(몸통, 왼손, 오른손, 머리)
  • 10차원의 shape parameters
  • 10차원의 facial expressions

    3장의 3.2장부터 3.4까지는 위에서 정의한 파라미터를 각 모듈에서 NN를 통해서 추론하는 과정을 담고 있는데, 특별한 내용은 없다.

Motion blur augmentation

[6] GiacomoBoracchiandAlessandroFoi.Uniformmotionblur in Poissonian noise: Blur/noise tradeoff. IEEE Transactions on Image Processing, 2010. 4 [7] GiacomoBoracchiandAlessandroFoi.Modeling the performance of image restoration from motion blur. IEEE Transactions on Image Processing, 2012. 4

• 위의 참고 문헌을 사용하여 모션 블러를 생성하였음.

Whole-body Integration Module

Copy-paste

• 각각의 모듈은 SMPL-X 파라미터에 의해서 정의 되었기 때문에 쉽게 합쳐질 수 있음. 각 모듈의 아웃풋을 단순히 whole-body model의 파라미터로 복사하는 방법
• 여기서 wrist의 경우, 핸드와 바디에서 중복되어서 찾게 되는게, 이런 방식은 후처리가 필요함.

  Optimization

• F는 각 타겟에서의 loss를 의미함.
• 위의 수식처럼 whole-body model의 2D, mesh, prior(3D, shape)에 대한 NN를 설계하여 최적화를 진행

  Wrist integration

• Optimization 이 좋음. 하지만 느림.
• Arm(shoulder, elbow, wrist) 을 제외하고 나머지 SPMLX는 Copy-paste, 그 나머지 부위에 대해서만 최적화 진행

Experiments

각각의 모듈에 대한 평가와 Integration module 평가를 진행함. 이 논문의 key idea가 Integration쪽에 있으므로 관련 과정만 살펴봄.

정량평가

• SMPLify-X(2019), ExPose (2020)on EHF dataset, metric: V2V, PA-V2V

  정성평가

  

고찰

간단하고 직관적. 다시말하면 실용적이고 확장성있다.

[Jungduri]

생성된 모션블러.

CV 함수로도 쉽게 구현 가능

논문에서 이야기하는 Blur의 효과