VGG19 feature extractor 바꿔보기

DongHwanJang / SPADE_Colorization

Other

2 stars 0 forks source link

VGG19 feature extractor 바꿔보기 #14

Closed ThisIsIsaac closed 4 years ago

ThisIsIsaac commented 4 years ago

Input 바꿔보기:

현재: LAB pretrained VGG19 에 reference, target 이 LLL 들어감
[ ] LAB pretrained VGG19 에 reference 는 LAB, target 은 L00

Gradient update 하게 해주기:

현재: frozen
[ ] unfreeze 해서 gradient 가 흐르게 하기. 이때 checkpoint 에 save / load 할때도 같이 읽어오게 하기

ThisIsIsaac commented 4 years ago

첫 시도:

Ref용 vgg는 그냥 rgb pretrained vgg
Target용 vgg는 rgb pretrained를 grayscale 로 transfer learning
둘다 freeze

deepkyu commented 4 years ago

L fine-tuned VGG는 어느 정도 Train이 되었음 (49 epoch, val : Top-1 69~70 % / Top-5 89~90 %). 이에 vgg_change branch에서 VGG 변경 작업 진행 및 완료 현재는 둘다 freeze 된 상태임 (requires_grad = False)

ThisIsIsaac commented 4 years ago

LAB 읽는 방식 바꾸기 전

individualImage (4)

warped image 는 괜찮게 나오지만 오히려 synthesized image 가 엄청 안나옴. gamma, beta 값을 뜯어보고 디버깅을 진행해야할듯.

이 이슈를 진행: https://github.com/DongHwanJang/SPADE_Colorization/issues/18

LAB 읽는 방식 바꾼 후 + 새로운 VGG

200 iteration

Reference 와 synthesized. 진짜 너무 아름답다 ㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠ 🎉 🎉 🎉 🎉 🎉 🎉 🎉 🎉 🎉 🎉 🎉 🎉 🎉 🎉 🎉 🎉 🎉 🎉 🎉 🎉 🎉 🎉 🎉 🎉 🎉 🎉 🎉 🎉 🎉 🎉 🎉 🎉 🎉 🎉 🎉 🎉 🎉 🎉 🎉 🎉 🎉 🎉

DongHwanJang commented 4 years ago

진짜 오버피팅 돼서 다행이다ㅋㅋㅋㅋㅋ 어휴ㅠㅠ 한시름 놨다. 이제시작이긴 하만ㅜㅜ👍👍👍