210519 인공지능 오피스 아워 이슈 : train model, bottleneck

[makeitmin]

In GitLab by @Jaemin on May 19, 2021, 17:55

개발 시 어려운 점을 아래 리스트 중에 체크해주세요.

이슈 Label	해당 사항 체크(✅,❎)
전체적인 아이디어, 프로젝트 진행 방향성에 관한 이슈
To-do 기능 구현의 어려움
딥러닝 결과 해석의 어려움	✅
버그
서버 이슈
속도 이슈	✅
gitlab 이슈
그 외

• 이슈에 대한 자세한 설명 :

<개발 이슈>

1. 개발 시 이슈가 무엇이었는지 예상 동작과 현재 동작에 대해 자세히 기입해주세요.

• 1. cnn 모델을 학습할 때, bottleneck(?)을 사용하는 이유가 있는 지 궁금합니다. (bottleneck이 무엇인가요??...병목현상...?)
• 2. 분류한 데이터를 vgg16 모델을 이용해서 학습을 해보았는데, 시간이 너무 오래걸립니다.

2. 이슈에 대한 원인을 기입해주세요.

• 1. 어제 original dataset을 bounding box를 기준으로 crop하여 train, test, validation 폴더로 나누어서 저장하였는데, 이를 다시 각각 이미지에 대해서 bottleneck feature에 대한 내용을 .npy 파일로 저장하는 과정에서 용량 부족 문제가 발생합니다.
• 2. vgg16 모델의 파라미터 수가 워낙 많고, 이미지 데이터도 대략 20만장이기 때문에 오래걸리는 것 같습니다.

3. 문제가 발생한 코드 및 스크린샷을 기입해주세요.

4. 이슈를 어떻게 고칠 것인지 자세히 설명해주세요. (해결 방법을 못 찾을 시, 5. 궁금한 점에 기입해주세요)

• 1. 만약 bottleneck feature를 이용해서 모델을 학습한다면, 엘리스에서 새로 추가해 준 '/data' 경로에 bottleneck feature에 대한 데이터를 저장하고 이를 이용해서 모델을 학습하면 될까요?? 아니면 bottleneck feature를 따로 저장하는 과정을 거치지 않고 바로 classification을 진행하면 될까요?
• 2. 코치님께 질문해본다

[makeitmin]

In GitLab by @Jaemin on May 19, 2021, 17:55

changed due date to May 19, 2021

[makeitmin]

In GitLab by @Jaemin on May 20, 2021, 07:08

1. bottleneck feature를 이용하여 중간 단계로 각 이미지에 대해 .npy 파일을 생성하지 않고, bounding box를 기준으로 crop한 이미지들을 train, val, test로 분류한 데이터를 바로 학습
2. 데이터 개수와 파라미터의 개수가 많기 때문에 학습 시간이 오래 걸림 -> batch size를 키워보자
3. 이미 학습된 pre-train 모델을 가져다가 쓸 것인지 아니면 직접 모델을 학습하여 사용할 것인지 논의가 필요함