[Data] Synthesize Hazy Image for Train data

[hyoseok1223]

Background

기존의 hazy dataset들도 유용하지만, 좀 더 한국의 랜드마크에 초점을 맞추어 hazing이 된다면 좋은 인상을 줄 수 있을 것이며, 랜드마크라는 것이 현 프로젝트의 주제인 여행가서 찍힌 사진의 개선이라는 측면에 더 fit한 것 같고, 좋은 품질의 데이터가 만들어진다면 데이터 문제가 많이 해결될 것 같습니다.

Content

AIHUB 랜드마크 데이터셋을 일부 이용해 hazy image가 잘 생성되는지를 확인해 보고자 합니다.

• [ ] 사용할 모델, 깃허브 선정
• [ ] 샘플 이미지로 확인
• [ ] 랜드마크 이미지셋 전처리

Details

• @omocomo @hyoseok1223 작업예정
• 사용할 github, paper :

[hyoseok1223]

AMS 기반해서 parameter로 합성을 하는 경우가 많은 것 같습니다.( 실제 public dataset 합성시 사용) 이에 맞춰 찾아봤는데, AMS과정에서 d(x) 거리가 필요해서 depth map이 필요한 것 같습니다. 다만, aihub 데이터셋은 depth map이 같이 주어지지 않습니다. 따라서 따로 depth map을 추출하는 과정을 거쳐야 할 필요가 있습니다.

Ref1

[omocomo]

AIHUB 랜드마크 데이터셋을 확인할 수 있도록 구글 드라이브에 일부 데이터를 업로드 했습니다. 한 장소에서 여러 각도로 찍은 이미지들이라 [원천]서울특별시_013 데이터 중 폴더별로 15장당 1장씩만 저장해 총 1,568장의 이미지를 포함하고 있습니다. 추가로, 이미지를 연속적으로 촬영해서인지 흔들린 사진들이 포함되어 있습니다.

[hyoseok1223]

결과 공유 (Ref1)

• 생각해볼만한 점 : Depth Estimation이 된 것에 따라서 hazy가 입혀지기 때문에, 아래 이미지 같이 나뭇가지 부분이 뭉텅이로 될 때 아래와 같이 해당 부분이 부자연스러운 문제가 발생함.( 학습에 있어 critical한 문제는 아닐수도 )
• 불편한 점 : 몇가지 파라미터를 조정해주면서 hazing의 정도를 정할 수 있음. (장점 이기도함) 다만, 모든 이미지들에 대해서 일괄적으로 적용했을 때는 문제가 생길 수 있을 것 같음. 아직은 파라미터의 의미들을 완벽히 파악하지 못함. 추가 고민필요 위 reference의 예시 이미지들을 잘 보면 원하는거에 따라서 haze density도 조절가능할 것 같음.

실행 결과

원본 이미지, Depth map, Hazy image

[omocomo]

GAN을 이용한 Fog Simulation으로 Foggy-CycleGAN을 이용해 볼 수 있을 것 같습니다. 아직 실행에 성공하지 못해 학습 시 필요한 것, 결과물을 내는 시간 등은 파악하지 못했습니다. 결과가 나오는 대로 공유하겠습니다.

[omocomo]

Foggy-CycleGAN 결과 공유

• tensorflow 기반
• clear2fog, fog2clear
• pretrained weight를 이용한 결과

불필요한 모델 학습이 필요할 수 있고, GAN 생성의 문제점들이 보여 사용하지 않기로 결정!

[Dongwoo-Im]

저번에 경륜님이 공유해주셨던 것 같은데, 황사처럼 누리끼리한 이미지까지 커버한다고 생각하면 사용해도 좋을 것 같습니다. paper : https://arxiv.org/pdf/2008.03864.pdf github : https://github.com/chaimi2013/3R

[Dongwoo-Im]

Hazy Density Estimation 관련 읽어볼만한 논문 발견해서 공유합니다. 잘 모르지만 TMQI, FSIMc, FADE, DF, HDE 같은 metric으로 합성이 잘되었는지 ? 그런 관점에서도 서술해볼 수 있을 것 같아요. paper : https://www.mdpi.com/1424-8220/21/11/3896 github(matlab) : https://github.com/v1t0ry/Haziness-degree-evaluator

[hyoseok1223]

• 약간 노가다 + 시간이 오래 걸림 ( 처리할 데이터 양 자체가 불필요하게 너무 많음 )
• 결국 합성 데이터 - PSD논문에서도 그렇고, RESIDE 합성데이터로 학습된 모델을 이용해서 실제 이미지들에 적용해본 결과들을 봤을 때, 합성데이터를 늘리는 것이 실제 학습에 도움을 줄지에 대한 의문이 듦
• depth estimation 시간은 오래걸리지 않음. 다만, 추정을 위한 모델 상태에 따라서 결과가 꽤 달라지는데, 어떻게 달라지는지 아직 잘 모르겠음
• hazy image만들기 위한 파라미터 조절도 좋은 합성 이미지 제작을 위해서는 신경쓸게 많아보임

볼드 처리되어있는 내용을 중심으로 다른 점들도 모두 고려해서 이 데이터를 사용해야할만큼 이게 필요한지 애매하고, 실제로 불필요한 시간이 꽤 소요될 것 같다고 생각해 랜드마크 이미지를 합성 데이터로 사용하지 않기로 결정했습니다.