[Model] DW-GAN

[Dongwoo-Im]

Background

GAN-base 모델 중 가장 성능이 좋은 것으로 확인된, NTIRE 2021 NonHomogeneous Dehazing Challenge 1등 solution인 DW-GAN을 사용해보고자 합니다. 다만, train file이 공개되어 있지 않아서 final project에 사용하지 못할 것 같습니다.

Content

먼저 코드를 돌리기 위한 작업은 다음과 같습니다.

1. 공식 github를 기반으로 pytorch와 torchvision을 다운받는다. conda install pytorch==1.6.0 torchvision==0.7.0 -c pytorch
2. inference할 이미지를 [1200,1600]으로 resize 한다.

다음은 사용 후기입니다.

1. 이미지 크기에 대한 제약이 존재하는 것으로 보이는데 (이미지 크기를 바꾸거나 하면 문제가 생김), 처음부터 NH-HAZE 이미지 크기인 (1200,1600)에 맞게 모델을 설계한 것 같다는 생각이 듭니다.
2. 그래서 NH-HAZE 결과는 괜찮은 것으로 보이는데, Crawling 이나 SOTS(OUT)처럼 이미지 크기가 작은 이미지를 inference하면 (Resize로 이미지 크기를 키우는 과정에서) 심각한 성능 저하가 생기는 것 같습니다.
3. 참고로, (1200,1600) 기준 Inference time은 대략 한 장에 1.6초 소요되는 것 같습니다.

ps. 어찌저찌 하면 이미지 크기를 낮추는 것이 가능할지도 모르겠지만, train code가 없어서 굳이 해야 할까 싶었습니다. ps2. window를 자르는 듯한 코드가 있는데, 아마 DWT 관련 코드로 생각 중입니다. (Ex. hazy_up=hazy[:,0:1152,:] hazy_down=hazy[:,48:1200,:])

Details

paper : https://openaccess.thecvf.com/content/CVPR2021W/NTIRE/papers/Fu_DW-GAN_A_Discrete_Wavelet_Transform_GAN_for_NonHomogeneous_Dehazing_CVPRW_2021_paper.pdf github : https://github.com/liuh127/NTIRE-2021-Dehazing-DWGAN

[Dongwoo-Im]

Crawling data 6장 (0~5번)

[Dongwoo-Im]

RESIDE-SOTS(Outdoor) 6장 (1,2,3,4,6,7번)

[Dongwoo-Im]

NH-HAZE 6장 (1~6번)