3d pose

[fhan90521]

안녕하세요. lmdb dataset을 만드는 과정에서 3D POSE를 사용하기 위해서는 3d_pose pickle 파일이 필요하다는 것을 알게 되었습니다. 다른 사람들의 이슈를 참고하여 3d_pose pickle를 만들기 위해서 VideoPose3D를 이용하면 된다고 하신 것을 봤습니다. VideoPose3D 모듈의 자체 기능으로서 3d_pose pickle를 만들 수 있는 건가요? 아니면 VideoPose3D를 이용한 코드를 짜서 3d_pose pickle를 만들어야 하는 건가요? 마지막으로 3d_pose를 안쓰고 train.py를 실행시킬 수 있는건가요? 만약 실행이 된다면 최종 결과에 있어 변화점이 발생하는지도 궁금합니다.

[youngwoo-yoon]

늦게 답변 드려 죄송합니다. VideoPose3D 프로젝트를 이용하여 3d pose 를 생성합니다. Pickle 파일이 바로 나오는 것은 아니고 결과 저장을 위한 코드를 작성하셔야 합니다. 3D Pose 부분을 제외하고 2D 포즈 사용으로 모델을 수정해서 사용하셔도 문제없습니다.

[fhan90521]

답변 감사합니다 2d를 3d포인트로 확장시키는 것은 성공했습니다. 그런데 오픈포즈를 통해 얻는 상체 포인트 개수와 Gesture-Generation-from-Trimodal-Context 에서 결과로 얻어지는 상체 포인트 개수가 다른데 모델 안에서 작업이 되는 건가요? 아니면 학습 데이터를 만들 때 2d포인트도 10개로 변형 시켜서 학습 시켜야 하는 건가요?

[youngwoo-yoon]

네 저는 VideoPose3D 에서 사용하는 3D 포인트를 기준으로 하였습니다. 따라서 OpenPose 2D 데이터를 3D 로 변환하는 과정에서 포인트 수가 달라졌습니다. 만약 다른 관절 구조(포인트 수)를 쓰신다면 제스처 생성 모델에서 출력 dimension 만 바꾸시면 될 듯 합니다.

[fhan90521]

감사합니다! 바꾸라고 하신 출력 dimension이 speech2gesture.py에 있는 pose_dim 변수를 말씀하시는 거 맞나요?