Let's Do Training!!!!

[Ugness]

첫 실험 결과

• 색 번짐.

[Ugness]

• 고쳐야할 것
• [x] Line Image Interpolate 할 때 NEAREST로 해줘야 경계선이 유지되어서 잘된다고 함.

[Ugness]

• nearest + Reflection Padding 했는데도 고쳐지지 않음.
• VGG19가 imageNet pretrained인데 VGGLoss를 적용한 것이 문제 있을 수 있다고 생각함.
  • 그리고 VGG19 RGB 기준인데 Lab 이미지 넣어주고 있었음.
  • [ ] vgg loss term 끄고 학습해보기
• SPADE Module이 Sketch + Hint에서 제대로 된 beta, gamma를 추정하고 있지 못하다고 생각함.
  • [ ] SPADE Module 앞 쪽에 Conv Layer 추가 + LadderNet

[Ugness]

• Sketch min-max활용해서 힌트 뽑는 범위 / loss 주는 범위 등등 지정해서 흰색 바탕 Vanishing 해결하기.
• Lab Output Clipping 하기.
• Hint Patch Size 늘리기. (*2~4) -> Nearest 때문에 넣어 준 힌트가 대부분 죽을 것 같음.

[Ugness]

• 돌릴 때 nThreads 16~64로 넣고 하면 더 빨리 돌아감.
• SPADE Normalization module에 Conv Layer 추가하기.

[Ugness]

• https://arxiv.org/pdf/1808.03240.pdf (AlacGAN)
• 참고하기.
  • ImageNet Pretrained VGG16 이용해서 Content loss 줌.
  • Sketch + Hint + (Features extracted from sketch) 넣고 채색함.
  • penalty loss 라는 걸 추가해줬는데 공부해보면 좋을지도?

[Ugness]

그냥 기존꺼 오래 돌린 모델. 잘되는 듯?

[Ugness]

• Sketch에서 Feature Extract하는 netF 네트워크 추가. 성능향상 잘 모르겠음. 캐릭터의 얼굴 / 몸 은 이전 모델보다 더 잘 구분하는 것 같기도 함.
• 모델들이 Hint를 무시하고 채색하는 것 + 실제 같지 않게 색칠하는 것을 고쳐야할 것 같음.

[Ugness]

• netF pretrained network 사용해보기
  • https://github.com/RF5/danbooru-pretrained/blob/master/danbooru_resnet.py

[Ugness]

• https://www.compuphase.com/cmetric.htm
  • Color distance Loss 추가해보기.
• Histogram 관련해서 해보기?

[Ugness]

Hint Feeding 할 새로운 방법 찾기

[Ugness]

[Ugness]

NetL + BooruLoss + L2Loss + CosineAnnealingLR 학습 결과

[Ugness]

• 가장 최신 옵션

  python train.py --name Lnet_hsv_aug --dataset_mode safebooru --dataroot ../CS470_Project/data/safebooru/train_upper_body_768 --tf_log --no_html --batchSize 8 --gpu_ids 0 --sample_Ps 2 22 2 --use_vae --netG spadeladder --L2_loss --no_vgg_loss --booru_loss --lr 0.0002 --SGDR --hsv_aug 0.1

[Ugness]

• hsv_aug 0.1 추가했더니 힌트가 잘 들어감.
  • 같은 스케치에 대해 여러 채색 정답이 있다는 것을 data aug로 알려줌.

[Ugness]

--high_sv, --hsv_tv loss 추가할 시 더 안좋아짐.