ZEPETO-Unity-Barracuda-MotionCapture

ZEPETO PoseEstimation

digital-standard의 ThreeDPoseUnityBarracuda 오픈소스를 이용했습니다.

제페토 씬에서 바라쿠다가 동작되게 리소스를 추가하고 제페토 캐릭터에 리깅한 샘플입니다.

녹화된 비디오

실시간 웹캠

EasyMotionReader 사용, 포즈 저장 및 애니메이션 추출

Youtube에서 전체보기

1. 제페토씬 (제페토월드 빌드잇)
2. 애니메이션 추정 (ThreeDPoseUnityBarracuda 오픈소스 활용)
3. PoseReader (EasyMotionReader 오픈소스 활용)
4. PoseWrite (EasyMotionReader 오픈소스 활용)
5. UnityChan캐릭터에서 애니메이션 재사용
   • Human bone형식의 모든 캐릭터에서 저장한 포즈 애니메이션을 재생할 수 있습니다.
   • InputTexture에서 UseWebCam을 True로 설정해 웹캠을 이용한 추론도 가능합니다.

더 좋은 모델추론을 위한 권고

1. 고화질 웹캠 및 비디오 사용
2. 웹캠의 중앙부에서 촬영
3. 가능한 빈 공간에서 촬영

Prerequirement

• 제페토 탬플릿을 사전에 다운로드해야합니다. (2020.3.9f. 빈 템플릿에서 제페토 SDK를 실행)
• 필수적으로 이 프로젝트는 유니티 2020.3.9f에서 실행됩니다. (그렇지않으면 제페토 캐릭터를 불러올 수 없습니다.)
• 제페토에 대한 설명은 제페토 가이드 를 따르세요
• 내 캐릭터를 불러오는 법은 Assets/CharacterController.ts 파일에서 확인할 수 있습니다.

ISSUE

• 현재 제페토 월드에서 com.unity.barracuda를 지원하지 않습니다. (현재 모바일으로 플레이시 동작하지 않습니다.)

Future plans

• 제페토서버통신으로 잼을 가져와 모션을 구매합니다.
• TCP통신으로 서버에 비디오를 업로드하고 추론된 에니메이션 데이터를 모바일로 이용하도록 수정할 수 있습니다.