구현 항목 아이디어 다듬기

[hemil0102]

안녕하세요, 그림과 같이 구현하고 싶은 항목에 대해서 작성해보았습니다. 질문을 그림에 남겼는데, 시작점을 어떻게 가져가면 좋을까요? 추가로 보완해야할 부분이 있다면 말씀해주세요. 감사합니다.

[jongfeel]

메타 정보에 대한 피드백

스크린샷으로 올리기 보다는 해당 내용을 복사 / 붙여넣기로 하면 더 좋지 않았을까 싶습니다. 또 이런 내용이라면 issues 보다는 discussions가 더 어울리지 않나 생각이 드네요.

[jongfeel]

의문 사항에 대한 저의 답변

Perception

Perception by Unity Computer Vision 을 사용하면 object labeling이 되는 것 같습니다. 그렇다면 책 오브젝트를 인식해서 box collider만 만들어 줄 수 있어도 엄청난 결과를 얻을 수 있다고 봅니다. 저도 실제 해보지 않은 영역이라 조사 해보고 판단해 봐도 좋을 것 같습니다. 실제 PoC를 하는 작업과 그에 따른 시간이 필요할 것으로 보이네요. 추가적인 기술은 Perception으로 진행 해보면서 더 기술조사를 해 보는 게 바람직할 것으로 생각됩니다.

https://docs.unity3d.com/Packages/com.unity.perception@1.0/manual/index.html

Hand gesture

크게 두 가지 방향이 있는 것 같습니다.

• XR Hands: Unity XR Interaction Toolkit인데 느낌에는 VR HMD에 최적화된 방법 처럼 보입니다. 기존에 메타 퀘스트에도 있던 기능이기도 한데 Unity Package로 따로 나온걸 봐서는 AR 환경에서 되는 지 테스트가 필요할 것 같네요
  • https://docs.unity3d.com/Packages/com.unity.xr.hands@1.5/manual/index.html
• Mano Motion: 블로그 글에서 찾은 건데 unity 외부 패키지를 이용해 손 인식을 해서 이벤트를 얻는 방식입니다. ARFoundation 기반의 예제다 보니 접근이 어렵지는 않아 보입니다. 구현된 영상을 보면 hand gesture 이후 object를 어떻게 할지 결정하는 방식입니다.
  • https://vrworld.tistory.com/23

Direction

올려주신 내용도 사실 다 해보려면 시간이 조금 필요한데 아래 내용만 요약해서 해보면 어떨까 합니다. 물론 저의 분석과정을 거쳐 나온 결과이고 또 다른 접근 방법, 구현 하고 싶은 방법, 우선순위 결정 등은 충분히 논의 후에 결정 가능합니다.

To do

• [ ] Perception Pacakge by Unity Computer Vision
• [ ] XR Hands
• [ ] Mano Motion

Expected Results

• Object(book) detecction
• Hand gesture and interaction objects

[hemil0102]

감사합니다~ Perception Package 기초 구현 예제가 있는지 찾아보고 책 인식 구현부터 시작해보겠습니다.

[jongfeel]

이제 예제 찾아보고 해보는 것도 issue에 적어 보면서 해보면 좋겠죠?

[hemil0102]

YOLO https://pnltoen.tistory.com/entry/Unity-Sentis-Object-Detection-모델-Yolo-v7-tiny-실행하기#google_vignette