골프 자세 분석 파이프라인 모델 경량화 연구(On-device AI)

본 프로젝트는 나만의 AI 골프 자세 분석 서비스, 나샷! 서비스의 모델 경량화 연구 프로젝트로, 현재 서버에서 구동 중인 골프 자세 분석 파이프라인이 On-device에서도 충분히 구동 가능함을 보이는 것을 목표로 한다.

Goal

사용자가 원하는 장소에서 골프 연습 시 분석을 받을수 있도록 하며, 서비스 운영자가 운영 비용을 최소화할 수 있도록 하는 골프 자세 분석 파이프라인과 이를 해결하기 위한 경량화 기법을 제안한다.

Background of the Project

1. 골프 자세 분석 서비스에 대한 니즈

많은 골퍼들이 레슨의 필요성을 인식하고 있지만, 시간, 공간, 비용적 문제로 골프 레슨을 지속하지 못한다. 실제로 골퍼 1400명을 대상으로 한 인터뷰에서 91%의 인원이 레슨을 받아본 경험이 있으며, 지속적인 레슨이 실력에 도움이 된다고 응답한 비율이 72%에 달하였다. 이에 반해, 현재 레슨을 받고 있다고 응답한 비율이 18%에 그쳤다. 이렇게 골프 실력을 늘리고 싶지만, 비용적인 제약조건에 의해 레슨을 받지 못하는 골퍼들이 혼자서도 골프를 효과적으로 배우도록 돕는 서비스가 필요하다.

2. 서비스 운영 비용에 대한 부담

다양한 골프 자세 교정 기술이 제시되어 있지만, 기존의 딥러닝 기반의 자세 교정 기술은 GPU를 탑재한 데스크톱의 환경에서 실행되는 것을 전제로 한다. 이는 장비가 설치된 스크린 골프장, 야외 골프장 등에서 서비스를 이용하도록 제한하거나, 서버-클라이언트 구조로 애플리케이션에서 분석을 서버에 요청하여 서비스를 받을 수 있다. 전자는 원하는 장소에서 자세 교정 서비스를 사용하지 못한다는 단점이 존재하며, 후자는 서비스 운영자에게 상당한 비용이 수반된다.

Contents

1. 인터페이스 관점의 경량화

• 스윙 감지부와 스윙 분석부를 분할하여 모바일에서 부하가 크지 않도록 인터페이스 설계 진행
• 스윙 감지부는 추론에 필요한 프레임만을 고려하는 유동적인 fps 조절 방법 적용으로 분석 효율성 강화 및 실시간성 강화
• 스윙 감지부의 설계로부터 스윙 분석부에서 추론해야하는 프레임 축소 및 분석의 시간 효율성 향상(최대 2초 길이 영상을 입력으로 함)
• 스윙 분석부는 비디오를 입력으로 해 연속적인 정보로부터 보간 수행 및 자세 분할 단계를 적용하여 오류율 보정

2. 모델링 관점의 경량화

• Knowledge distillation 기법을 이용하여 경량화 수행
• Quantization 기법을 이용하여 연산 효율성 증가

3. 성능 평가 방법

• 정확도
  • 자세 추출부: MPJPE(Mean Per Joint Position Error) 지표 사용
  • 자세 분류부: Accuracy 지표 사용
  • 기존 파이프라인의 모델과 변경 모델의 비교 수행
• 속도
  • throuput(fps), latency(s) 지표 사용
  • 스윙 감지부, 분석부 전체 속도 테스트 진행
  • 파이프라인의 각 단계별 속도 테스트 진행
  • 기기별 속도 테스트 진행
  • 기존 파이프라인의 모델과 변경 모델의 비교 수행

Contributions

본 과제는 카메라 프리뷰로부터 3차원 관절 좌표를 추출한 뒤, 골프 자세 분석을 진행한다. 그 후 운동 자세의 순차성을 고려하여 영상에서 운동 동작을 분할할 수 있으며, 자세에 대한 정교한 분석이 가능하다. 따라서 골프 뿐만 아니라, 볼링, 테니스, 배드민턴 등 순차적인 자세 단계로 구성된 스포츠나, 헬스 등의 자세가 중요한 스포츠에서 쉽게 적용할 수 있다.

Contributor