자세 추출부 데이터 전처리

Uijeong97 commented 3 years ago

GOAL

데이터 리서치
데이터 준비
개발 환경(tf2.4)에서 사용할 자세 추출부의 데이터 로더 작성

Uijeong97 commented 3 years ago

데이터 준비

Reference

Data

You need to follow directory structure of the data as below.

${POSE_ROOT}
|-- data
|   |-- Human36M
|   |   |-- bbox_root
|   |   |   |-- bbox_root_human36m_output.json
|   |   |-- images
|   |   |-- annotations
|   |-- MPII
|   |   |-- images
|   |   |-- annotations
|   |-- MSCOCO
|   |   |-- bbox_root
|   |   |   |-- bbox_root_coco_output.json
|   |   |-- images
|   |   |   |-- train2017
|   |   |   |-- val2017
|   |   |-- annotations
|   |-- MuCo
|   |   |-- data
|   |   |   |-- augmented_set
|   |   |   |-- unaugmented_set
|   |   |   |-- MuCo-3DHP.json
|   |-- MuPoTS
|   |   |-- bbox_root
|   |   |   |-- bbox_mupots_output.json
|   |   |-- data
|   |   |   |-- MultiPersonTestSet
|   |   |   |-- MuPoTS-3D.json

Download Human3.6M parsed data [data]
Download MPII parsed data [images][annotations]
Download MuCo parsed and composited data [data]
Download MuPoTS parsed data [images][annotations]
All annotation files follow MS COCO format.
If you want to add your own dataset, you have to convert it to MS COCO format.

Uijeong97 commented 3 years ago

데이터 로더

메모리, 구현 효율상 커스텀 데이터 로더를 제작하는 것으로 결정

Problems

일반적으로 tensorflow에서 데이터 로드를 위해 데이터프레임을 이용하지만, 이는 하나의 형식으로 맞춰서 저장하기 때문에 각 데이터셋 별 전처리를 따로 해야하는 것에 번거로움이 있음
- 데이터 셋 로드를 한번에 읽어오기 때문에 메모리보다 데이터 셋이 크면 학습이 어렵다고 함
기존 코드를 이용하면 전처리 코드를 따로 작성하지 않아도 되지만, 커스텀 데이터 로더(=batch generator)는 새로 만들어야 함
- ~~데이터 로더를 커스터마이징 하면, 모델도 커스텀 모델 제작해야 함~~
- Epoch 별 학습 진행하면 데이터 로더 사용하여 트레이닝 가능
- 데이터 로드를 배치만 읽어 처리하는 방식으로 메모리 상관 없이 학습 가능할 것

Reference

커스텀 데이터 로더

SangbumChoi commented 3 years ago

@Uijeong97 안녕하세요 혹시 지금 현재 이 데이터 로더와 프로젝트가 각각 돌아가고 on-going하는 프로젝트인지 여쭤보고 싶습니다! 감사합니다~

Uijeong97 commented 3 years ago

@SangbumChoi 안녕하세요. 성범님. 답변이 다소 늦었습니다. :)

데이터 로더 정상적으로 작동합니다. 위에 리서치와는 달리 커스텀 모델을 따로 작성할 필요는 없었습니다. 이번 하반기를 목표로 프로젝트로 현재 진행중이지만, 다른 업무 때문에 틈틈이 진행중입니다.

CSID-DGU / 2021-1-CECD3-EverySports-8