Multi Model을 이용한 학습을 진행해보려합니다.

[wlsl8135]

성별, 나이, 마스크 착용 여부 각각에 모델을 적용해보려 하고 있습니다. 이 경우 장점이 몇가지 있습니다.

1. 각 태스크에 맞는 이미지 전처리가 가능
2. 각 모델이 해당 태스크에 집중
3. 멘토님이 성능 약간 보장해줌

단점으로는

1. 각 태스크가 독립이 아닐 수도 있음, 특히 나이와 성별 =>단, 이는 나이와 성별만 구분하는 모델을 만들어 볼수도 있습니다.
2. 귀찮음 힘듬 시간 많이듬
3. 다했는데 결과가 똥일 수 있음

현재 이슈는 다음과 같습니다.

1. 각 태스크에 맞는 이미지 전처리 방법 제가 고찰한 내용 : https://mesquite-chevre-a7d.notion.site/99e9a6cd1b534fdd92cb49b5cbf1a16f
2. 병렬 학습
3. 하이퍼 파라미터 튜닝
4. 모델 배포
5. 태스크에 따른 데이터 불균형 해결 혹시 의견 있으시면 언제든지 이슈 달아주세요. experiment/multimodel branch라는 곳에서 실험할 예정입니다. Mask Model
   • [ ] Augmentation ->(Custom Cutmix, normalization, Togray or Channel Shuffle, CLAHE) Sex Model
   • [ ] Augmentation ->(Custom Cutmix, normalization ) Age Model
   • [ ] Augmentation ->(Custom Cutmix, normalization, Togray or Channel Shuffle, CLAHE)
   • [ ] Transform Learning from

논문 https://link.springer.com/content/pdf/10.1007/s42979-020-00294-w.pdf 논문 구현 https://github.com/amidadragon/asian-age-gender-estimation-2 데이터 셋 https://github.com/JingchunCheng/All-Age-Faces-Dataset

[KimDaeUng]

• https://github.com/openai/CLIP OpenAI의 CLIP이란 모델입니다. 텍스트와 이미지의 Multi modal embedding을 쓰는데, 학습을 안 시킨채로 cosine similarity만으로 분류 가능해서 여기에 사용해보면 학습 부담이 덜해서 좋을 것 같아요. 아래 코랩 노트북도 예시로 제공합니다.
• https://colab.research.google.com/github/openai/clip/blob/master/notebooks/Interacting_with_CLIP.ipynb

[KimDaeUng]

• 연령 분류를 위한 얼굴 데이터셋
• https://github.com/JingchunCheng/All-Age-Faces-Dataset