[2023.01.11] Human NeRF 이해를 위해 3D Pose 잠깐 구경하기

[sghong977]

[상황] SMPL 파라미터니 vertex니 뭐가 뭔지 헷갈림 ㅡㅡ pose? shape? mesh? joint? 음???

[목표] 3D Human Pose Estimation이 뭔지 대략 이해하자

• [ ] SMPL에 대해 조사하기
• [ ] model-free? model-based?
• [ ] SMPL-X나 SMPL+D 이런건 뭐지? 6천몇개의 vertex로 정의된 SMPL 모델과는 또 별개인건가? 아니면 SMPL mesh를 추정하기 위해서 그냥 pose나 shape 파라미터들을 간단하게 정의했고, 그걸 SMPL 기본 모델(vertex기반)의 mesh 모형으로 만들 수 있는건가? 그럼 SMPL 배리에이션들은 그냥 더 많은 파라미터를 정의한거고 그걸로 더 정교하게 6천몇개의 vertex를 조절하는건가? 이래서 SMPL 원논문의 정의 범위가 어디까진지 알아야할 것 같아...
• [ ] 그래서 pose estimation 모델은 대체 뭘 하는거임? (뭘 맞추려는거고 모델은 어떻게 생김?)
• [ ] 픽셀은 별도의 이야기인가?
• [ ] 시간 파라미터를 넣는 경우가 있나? NeRF의 경우 그런걸 봤는데. 이미지 한장의 포즈가 아니라 비디오를 생각한다면 pose sequence가 나올거잖아.

관련자료

• 3D Human Pose Estimation. 한국어로 적혀있음. 귀하다... http://www.kibme.org/resources/journal/20220617111149246.pdf
• SMPL https://smpl.is.tue.mpg.de/

[sghong977]

맞는지는 모르겠지만 현재 내가 이해한 것

3D Human 모델 SMPL (Skinned Multi-Person Linear model)

• skinning and blend shapes를 기반으로 하는 3D 인간 모델이라고 함. 'skinned' 라는 표현을 잘 모르겠는데, 뼈만 있는건 아니고 피부까지는 포함하며 (=mesh? 용어 맞나), 그 위에 픽셀값들은 논외라는거겠지?
• 3D Body scan을 많이 해서 통계학적으로 어떻게 어떻게 만들어진 모델
• 6천개 넘는 vertices를 가짐.
• SIGGRAPH 2015? 얼마 안되었네

나름대로 이해한 것

여기서 틀린 문장이 있는지 확인해야해

• 대부분의 'Human Pose Estimation'은 pose 추정을 의미한다.
• SMPL 파라미터는 pose 24*3과 betas 10개이다.
• poses, betas, cam............. 잠만 딴것좀 하고 다시 보자