[refactor] image_logging & [fix] transform.py

[Dongwoo-Im]

What is this PR?

train.py image logging & transform (Normalize) refactor를 위한 PR입니다.

Changes

train.py

• image logging을 cpu로 진행하게 하였고, transform이 적용되었을 때 이를 다시 원래 이미지로 logging하게 하였습니다.

transform.py

• 현재 dataset.py에서 이미지를 불러오는 과정과 동일하게, 이미지의 통계치를 계산하였고 그 결과를 적어두었습니다.
• args.norm 인자를 통해 albumentation Normalize를 진행할지, 기존의 preprocessing_fn을 진행할지 고를 수 있습니다.

  epoch 2까지 돌려봤는데 0.001 정도 차이만 존재하는 것을 보면, preprocessing_fn이 Normalize와 매우 유사한 메커니즘으로 작동하는 것 같습니다.

utils.py

• args 인자 이름이 바뀌어서 업데이트해주었습니다.

To reviewers

• 기존에 사용하던 A.Lambda(image=preprocessing_fn) 코드가 normalize 기능을 하는 것 같습니다. 뭐가 더 좋을지는 실험의 영역이라 판단하여 args.norm 인자로 조절할 수 있게 하였습니다. https://github.com/qubvel/segmentation_models.pytorch/blob/master/segmentation_models_pytorch/encoders/__init__.py
• mmseg 에서는 (0~255) 범위의 통계치 값이 필요한 것 같아서 추후 업로드 하겠습니다.

[Dongwoo-Im]

train_all.json + test.json : mean=[106.6728, 112.1372, 117.6358] std=[55.3728, 53.408, 54.3513] train_all.json + test.json + leak.json : mean=[107.719, 113.1121, 118.4997] std=[54.4267, 52.2639, 52.8573]

import cv2
import os
import json
import numpy as np

def normalize_img(data_path, json_path, mode):
    with open(json_path, 'r') as f:
        train_json = json.loads(f.read())
    images = train_json['images']
    image_paths = [os.path.join(data_path, image['file_name']) for image in images]

    mean, std = [0,0,0], [0,0,0]
    for image_path in image_paths:
        img = cv2.imread(image_path)
        if mode == 'torch': img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
        img = img.astype(np.float32)
        if mode == 'torch': img /= 255.0
        for i in range(3):
            mean[i] += np.mean(img[:,:,i])
            std[i] += np.std(img[:,:,i])

    mean = np.array(mean) / len(image_paths)
    std = np.array(std) / len(image_paths)

    return mean.tolist(), std.tolist()

# leak_mean, leak_std = normalize_img(data_path='/opt/ml/input/data', json_path='/opt/ml/input/data/leak.json', mode='torch')