feat: Training with MMPose

[KidsareBornStars]

Description

• MMPose Training Status

Details

• LiteHRNet18 / HRNet32 / HRNet48 / MobileNetV2 / ResNet50 기반 모델들 학습 비교

Reference / Image

• https://github.com/open-mmlab/mmpose/blob/master/docs/en/inference_speed_summary.md
• https://github.com/open-mmlab/mmpose/blob/master/docs/en/tutorials/5_export_model.md#supported-models

[KidsareBornStars]

10000장으로 학습했을 때 AP는 잘 나오지만, 실제로 test data를 넣어줬을 때 잘 되지 않는 현상 발견 -> 따라서 20000+장으로 재학습

[KidsareBornStars]

5초영상 기준 hrnet_w32의 경우 inference 15초

[KidsareBornStars]

면접 영상에 Inference시 전혀 되지 않는 문제가 발생하여 기존 pretrained된 모델에 finetuning하는 방법을 사용.

[KidsareBornStars]

20000장으로 Finetuning한 모델의 성능이 좋지 않아(특히 손을 감지하기 힘들어함) 데이터셋 중 (Left/Right 제외하고) 면접 Test Data에 특화된 Up/Down/Front각도에서 찍은 손이 움직이는 20~110프레임까지 15000장으로 finetuning

[KidsareBornStars]

From Scratch로 사용하기 위해 GCP에 GPU탑재하여 VM생성하였으나, 학습 코드를 실행하면 서버가 터져버리는 문제 발생