PSD 모델의 경우, Unlabel data의 GT 이미지를 만들어야 하기에, GT 이미지의 quality가 중요하다고 생각했습니다.
또한, CLAHE 알고리즘의 영향으로 output에 검은 얼룩이 생기는 경우를 완화하고자 했습니다. (해상도가 낮을수록 티가 많이 남)
Content
GT 이미지 quality 확보를 위해 다음 2가지를 진행했습니다.
[x] CLAHE.py의 parameter 변경을 통해 검은 얼룩을 줄이고자 함
[x] NIQE, BRISQUE, NIMA score의 통계치를 기반으로 학습에 사용할 GT 이미지 필터링
다음 실험으로 생각 중인 것들은 아래에 적어두었고, 다른 해야할 게 있다면 모델만 돌려놓고 병행할 수 있을 것 같습니다.
[ ] color shift 완화
[ ] loss_weight / epoch / learning_rate 등 변경
Details
parameter change : #9 를 바탕으로, clip_limit=1 or 2 & grid_size=64 후보 선정
GT quality
Unlabel data로 활용하고 있는 RTTS dataset 4322장을 다 학습할 필요가 없다고 생각했습니다.
그래서 아래 사진(NIQE)처럼 BRISQUE, NIMA 의 통계치도 계산해서 이를 기반으로 GT 이미지를 필터링하고자 했습니다.
(NIQE_diff 는 각 행별로 NIQE - NIQE_GT 를 계산한 값으로, 높을수록 이미지 품질이 좋아졌음을 의미합니다.)
물론 diff 값이 Dehazing과 직접적인 관련이 없을 수도 있지만,
적어도 검은 얼룩처럼 GT 이미지에 생길 수 있는 부자연스러운 것들을 없애는 기능을 할 것으로 생각했습니다.
아래 사진은 GT 통계치 상위 75% 이면서 diff 통계치 상위 50%를 만족하는 이미지가 4322 중 249장임을 의미합니다.
실험은 총 4회 진행했습니다.
아직 유의미한 결론을 내리지는 못했습니다. Valid inference 이미지를 보면서 검은 얼룩이 줄어든 exp5를 골랐습니다.
🔵 exp5 : gt_clahe_1_64 & idxVer0 (249장)
🟡 exp4 : gt_clahe_2_64 & idxVer0 (310장)
🟢 exp3 : gt_clahe_1_64 & idxVer1 (937장)
🔴 exp2 : gt_clahe_2_64 & idxVer1 (821장)
🟣 exp : PSD-MSBDN (baseline)
마지막은 PSD-MSBDN (baseline)과의 결과 비교입니다.
전반적으로 큰 차이는 없는 것 같기는 한데 (선명한 경우가 살짝 더 많은듯), 확실히 얼룩같은 것들은 줄어들었습니다.
(좌측 : PSD-MSBDN, 우측: Epoch4)
Background
PSD 모델에 대한 실험 전반에 대한 진행상황을 공유하려고 합니다.
PSD 모델의 경우, Unlabel data의 GT 이미지를 만들어야 하기에, GT 이미지의 quality가 중요하다고 생각했습니다. 또한, CLAHE 알고리즘의 영향으로 output에 검은 얼룩이 생기는 경우를 완화하고자 했습니다. (해상도가 낮을수록 티가 많이 남)
Content
GT 이미지 quality 확보를 위해 다음 2가지를 진행했습니다.
다음 실험으로 생각 중인 것들은 아래에 적어두었고, 다른 해야할 게 있다면 모델만 돌려놓고 병행할 수 있을 것 같습니다.
Details
parameter change : #9 를 바탕으로,
clip_limit=1 or 2 & grid_size=64후보 선정GT quality
Unlabel data로 활용하고 있는 RTTS dataset 4322장을 다 학습할 필요가 없다고 생각했습니다. 그래서 아래 사진(NIQE)처럼 BRISQUE, NIMA 의 통계치도 계산해서 이를 기반으로 GT 이미지를 필터링하고자 했습니다. (
NIQE_diff 는 각 행별로 NIQE - NIQE_GT 를 계산한 값으로, 높을수록 이미지 품질이 좋아졌음을 의미합니다.)물론 diff 값이 Dehazing과 직접적인 관련이 없을 수도 있지만, 적어도 검은 얼룩처럼 GT 이미지에 생길 수 있는 부자연스러운 것들을 없애는 기능을 할 것으로 생각했습니다. 아래 사진은
GT 통계치 상위 75% 이면서 diff 통계치 상위 50%를 만족하는 이미지가 4322 중 249장임을 의미합니다.실험은 총 4회 진행했습니다. 아직 유의미한 결론을 내리지는 못했습니다. Valid inference 이미지를 보면서 검은 얼룩이 줄어든
exp5를 골랐습니다. 🔵 exp5 : gt_clahe_1_64 & idxVer0 (249장) 🟡 exp4 : gt_clahe_2_64 & idxVer0 (310장) 🟢 exp3 : gt_clahe_1_64 & idxVer1 (937장) 🔴 exp2 : gt_clahe_2_64 & idxVer1 (821장) 🟣 exp : PSD-MSBDN (baseline)마지막은 PSD-MSBDN (baseline)과의 결과 비교입니다. 전반적으로 큰 차이는 없는 것 같기는 한데 (선명한 경우가 살짝 더 많은듯), 확실히 얼룩같은 것들은 줄어들었습니다. (좌측 : PSD-MSBDN, 우측: Epoch4)