ZEPETO PoseEstimation 제페토 월드 내 웹캠, 비디오를 통한 포즈추정 바라쿠다 샘플
5
stars
2
forks
source link
ZEPETO-Unity-Barracuda-MotionCapture
ZEPETO PoseEstimation
제페토 씬에서 바라쿠다가 동작되게 리소스를 추가하고 제페토 캐릭터에 리깅한 샘플입니다.
녹화된 비디오
실시간 웹캠
EasyMotionReader 사용, 포즈 저장 및 애니메이션 추출
Youtube에서 전체보기
- 제페토씬 (제페토월드 빌드잇)
- 애니메이션 추정 (ThreeDPoseUnityBarracuda 오픈소스 활용)
- PoseReader (EasyMotionReader 오픈소스 활용)
- PoseWrite (EasyMotionReader 오픈소스 활용)
- UnityChan캐릭터에서 애니메이션 재사용
- Human bone형식의 모든 캐릭터에서 저장한 포즈 애니메이션을 재생할 수 있습니다.
- InputTexture에서 UseWebCam을 True로 설정해 웹캠을 이용한 추론도 가능합니다.
더 좋은 모델추론을 위한 권고
- 고화질 웹캠 및 비디오 사용
- 웹캠의 중앙부에서 촬영
- 가능한 빈 공간에서 촬영
Prerequirement
- 제페토 탬플릿을 사전에 다운로드해야합니다. (2020.3.9f. 빈 템플릿에서 제페토 SDK를 실행)
- 필수적으로 이 프로젝트는 유니티 2020.3.9f에서 실행됩니다. (그렇지않으면 제페토 캐릭터를 불러올 수 없습니다.)
- 제페토에 대한 설명은 제페토 가이드 를 따르세요
- 내 캐릭터를 불러오는 법은 Assets/CharacterController.ts 파일에서 확인할 수 있습니다.
ISSUE
- 현재 제페토 월드에서 com.unity.barracuda를 지원하지 않습니다. (현재 모바일으로 플레이시 동작하지 않습니다.)
Future plans
- 제페토서버통신으로 잼을 가져와 모션을 구매합니다.
- TCP통신으로 서버에 비디오를 업로드하고 추론된 에니메이션 데이터를 모바일로 이용하도록 수정할 수 있습니다.