DeepLab V3 진행 내용

[yooso0731]

진행 내용 이슈 코멘트로 정리하겠습니다.

사용 모델: (아경) pytorch DeepLab V3 실습 환경: 노트북(GPU 2GB/ CPU 8GB) or 랩(CPU 32GB) or 서버(GPU 8GB/CPU 64GB)

[yooso0731]

(0601) -랩 컴퓨터에서 코드 변경없이 진행해봄. (2시간~) 걸린 듯 (mIou: 0.492, 0.520) -파이토치 구조 코드와 논문 내용보며 이해하려고 노력,,

(0602) -CPU 사용 시 시간이 너무 오래 걸려서 GPU 써보고자 코랩 실행 목표 ---> resnet 50 불러오면 RAM 용량 다 차서 계속 세션 종료됨,,....,,., ---> 그냥 랩 CPU 사용해서 진행하기로..

-최적화 알고리즘 Adam, ASPP rate [6, 12, 24] 변경 --> training set mIou 약 34로 줄어듦 한 번 시도할 때마다 두 시간씩 걸려서 너무.... 지친다 -최적화 알고리즘만 변경 (Adam) --> training set mIou 37 도르륵,,,

[yooso0731]

(0603) 목표 -입력 이미지 정규화 추가 코드 생성

[yooso0731]

(0602) 진행 상황

• 데이터 불균형 해결 위해 c-e weight 추가해봄 (메모리 부족으로 epoch1, batch 1만 진행) weight 설정: Max(Number of occurrences) / (Number of occurrences in rare classes)으로 했을 때 training mIou -- 약 47 (낮아서 test 진행 안 해봄) ---> 랩실 서버 컴퓨터로 돌려본 결과 (epoch 3, batch 2) train, test, 약 70까지 올라감!! 1) epoch 1; 2) epoch 2; 3) epoch 3;

--> test set

• 입력 이미지 파일 처리 -- 채도, 명도, 색상 랜덤 변경, 정규화 진행하는 코드 생성 ---> test set(정규화만) 저장까지는 진행됐는데, training set은 계속 메모리 부족 에러가 나서 정확하게 코드를 짠 건지 확인하지 못함 ---> 랩실 서버 컴퓨터로 진행해보려고 함

================================ 메모리 문제없이 어떻게 돌려야 할 지,,? 지금보다 레이어 더 쌓으면 (개선방안-구조 변경) 지금보다 더 메모리가 필요할텐데,, 코드짤 때 중간중간 테스트도 못 할 것 같음,, 답답스 오,, 에포크 수를 늘리니까 확실히 성능이 좋아지긴 한다 ㅜ

---

(0603) 진행 계획

• 입력 이미지 파일 처리 코드 이어서 진행하기
• 에포크, 배치 사이즈 최대 확인해보기

[yooso0731]

(0603) 진행

• 데이터 가중치 추가한 모델에서 batch, epoch 크기 변화시키며 성능 확인 중
  1. epoch 5, batch 10; train set mIou: 0.724 -> 0.753 -> 0.765 -> 0.774 -> 0.780 test set mIou: 0.774

*batch 크기를 키우니까 1 epoch 부터 꽤 좋은 성능이 나옴! 위 훈련 후 batch 더 늘려볼 예정임.

2. epoch 5, batch 20; train set mIou: 0.787 -> 0.792 -> 0.795 -> 0.798 -> 0.800

test set mIou: 메모리 부족으로 못 돌림 --> batch를 키우니까 epoch에 따른 성능 증가가 전보다는 약함. --> batch는 좀 더 크게, epoch는 줄여서 돌려 보기. 그런데 test에서는 메모리 부족이 떠서.. 메모리가 감당할 수 있는 최대의 epoch, batch 찾아봐야겠음.

• 입력 이미지 정규화 코드 - 메모리 덜 사용하는 버전으로 만드는 중,, 내일 위 코드랑 합쳐서 돌릴 예정,,!

---

(0604) 진행 예정

• 입력 이미지 정규화 후 모델 성능 확인
• weight, 정규화 코드 github 커밋

[agyeong]

@yooso0731 혹시,, 모델 돌리기전에 kernel restart 하셨나요,,,? restart 안하면 전에 학습된 모델에 계속 이어서 학습되는 것 같더라구요! 메모리에 남아있어서,,, 혹시나 싶은 마음에 글 남깁니다!

[yooso0731]

헉 대박 그동안 좀 메모리 너무 쓴다 싶으면 그냥 아예 아나콘다 창가지 꺼버리고 다시 시작하고 있었는데,,! 그렇게 하면 편하겠네요., 고맙습니다 !_! 👍👍 참고하겠습니다 ㅎㅎ

[yooso0731]

(~0606 오전) 진행 내용

• 입력 데이터 정규화ver1 코드 생성 //관용적으로 쓰이는 mean, std값 사용 (D - mean)/std

• c-e weight + 정규화ver1 모델 학습 batch 10 epoch 3 train set mIou: 0.399 -> 0.592 -> 0.637 (학습 계속 돌리면 올라갈 것 같긴 함) test set mIou: kernel restart해서 진행해도 Runtime error 뜸.. 확인해봐야 할 것 같음

• 입력 데이터 정규화 ver2 코드 생성 // train set의 mean, std 계산, (D - mean)/std

• c-e weight + 정규화 ver2 모델 학습 batch 20 epoch 20 -- (진행 중! 중간중간 결과 업데이트 하겠음)

• 랩 서버 GPU 연결 --> batch 2에서도 메모리 문제 발생... (restart한 상태) --> 그냥 CPU 사용해서 계속 학습 돌리기로..

• 모델 구조 변경 코드 생성함 (decoding 과정에서 한 번 채널 압축하는 층 하나 추가) 위 모델 다 돌아간 후 진행 예정임.

---

앞으로 진행할 학습 모델 리스트 (batch 10~20, epoch 20 정도로 돌릴 예정)

• 입력 데이터 정규화 ver3 학습 모델 // (D-D.min)/(D.max-D.min)
• 입력 데이터 color jitter 변경 모델 (색상, 명도, 채도, 대비 랜덤 변경)
• 레이어 추가 모델

[yooso0731]

이 코멘트에 모델별 훈련 후 성능 적어두겠습니다. *모든 모델 epoch 5, batch 2 로 진행(train 80, test 20% set) test set은 epoch 5에서의 결과입니다.

0. RUN (origin file) [train] 0.49 -> 0.69 -> 0.74 -> 0.78 -> 0.80 [test] 0. 79

1. RUN_weight [train] 0.48 -> 0.66 -> 0.71 -> 0.74 -> 0.76 [test] 0.73

2. RUN_Adam [train] 0.53 -> 0.71 -> 0.78 ->0.81 -> 0.82 [test] 0.80

3. RUN_stand1 [train] 0.50 -> 0.70 -> 0.75 -> 0.78 -> 0.80 [test] 0.77

4. RUN_stand2 [train] 0.50 -> 0.69 -> 0.75 -> 0.78 -> 0.80 [test] 0.77

5. RUN_jitter [train] 0.55 -> 0.73 -> 0.78 -> 0.81 -> 0.82 [test] 0.79

6. RUN_new [train] 0.47 -> 0.66 -> 0.72 -> 0.75 -> 0.77 [test] 0.69

[yooso0731]

원본 포함 모든 모델 에포크에 따른 mIou 그래프,, --> 원본 돌려보니까 성능 개선이 확실히 나타나지는 않았음을 알 수 있음,, 그래도 최적화 알고리즘을 변경한 모델의 miou값이 모든 에포크에서 원본보다 높다.,