210520 인공지능 오피스 아워 이슈 : validation accuracy Fluctuation

[makeitmin]

In GitLab by @Jaemin on May 20, 2021, 17:41

개발 시 어려운 점을 아래 리스트 중에 체크해주세요.

이슈 Label	해당 사항 체크(✅,❎)
전체적인 아이디어, 프로젝트 진행 방향성에 관한 이슈
To-do 기능 구현의 어려움
딥러닝 결과 해석의 어려움	✅
버그
서버 이슈
속도 이슈
gitlab 이슈
그 외

• 이슈에 대한 자세한 설명 :

<개발 이슈>

1. 개발 시 이슈가 무엇이었는지 예상 동작과 현재 동작에 대해 자세히 기입해주세요.

• Epochs 10, 15로 학습했을 때, 오버피팅이 심한 문제가 발생합니다.

2. 이슈에 대한 원인을 기입해주세요.

• 모델을 학습할 때, BatchNormalization과 Dropout을 추가해줬는데 validation dataset에 대해서도 normalization을 해줘야 하는 것 같다.

3. 문제가 발생한 코드 및 스크린샷을 기입해주세요.

• Epoch 3
  • 
  • 
  • 
• Epoch 10
  • 
  • 
  • 
• Epoch 15
  • 

4. 이슈를 어떻게 고칠 것인지 자세히 설명해주세요. (해결 방법을 못 찾을 시, 5. 궁금한 점에 기입해주세요)

• overfitting을 해결할 수 있는 방법이 어떤 것이 있는 지 질문한다.
• Epoch을 40으로 학습을 진행하고 싶은데, epoch 3으로 일단 학습하고 그 내용을 checkpoint 파일에 저장 후, 이 checkpoint를 이용해서 다시 모델을 이어서 학습할 수 있나요? 있다면 방법을 알려주시면 감사하겠습니다!

[makeitmin]

In GitLab by @Jaemin on May 20, 2021, 17:41

changed due date to May 20, 2021

[makeitmin]

In GitLab by @Jaemin on May 20, 2021, 19:43

changed the description

[makeitmin]

In GitLab by @Jaemin on May 20, 2021, 19:45

changed the description

[makeitmin]

In GitLab by @hyoje on May 20, 2021, 21:40

1. categorical_crossentropy 로 수정해서 해볼 것.

2. 현재 vgg16 모델을 불러와서 dense layer(fc layer) 부분만 추가하여 모델을 구성하였는데, vgg16은 학습이 되지 않고 freeze해서 사용중. 의도한 것인지 아니라면 이 부분 수정하여 학습해볼 것. ㄴ 현재는 vgg16 부분은 학습하지 않고 있습니다.

3. train set 과 validation set의 calss 분포 등을 확인 볼 것. 현재 accuracy가 괜찮게 나오고 있으나 (60~70%) 특정 class가 많아서 그런건지 균등하게 있는 상황에서도 그런것인지 확인. train / validation set이 균등한게 좋은 것일지 아니면 class 마다 다르게 있는 것이 좋을지도 고려 ㄴ 균등한게 좋다고 생각될 수도 있으나, 실제 데이터 분포가 특정 class가 훨씬 많이 나와서 실제와 유사하게 특정 class를 잘 맞춰야 한다던가의 이유등으로 균등하지 않은 것이 더 낫을 수도 있음. 팀에서 원하는 방향을 고려하여 선택해야함.

4. 모델 중간에 저장하고, 나중에 불러와서 학습을 이어서 진행하는 것이 가능 ㄴ 관련링크 마지막부분에 h5형식 이용하면 compile 부분도 저장가능 - 다음시간에 더 설명드리겠습니다 https://www.tensorflow.org/guide/keras/save_and_serialize?hl=ko