Data Augmentationの項目追加

[yumion]

変更点

kerasのImageDataGeneratorの幾何学的変換を全て追加

fill_mode='constant', cval=0 端は黒で埋めます

• vertical_flip

• horizontal_flip

• zoom

  • x1.0 ~ x1.5 固定

• rotation

  • -90 ~ +90度 固定

• width_shift

  • -30 ~ +30%

• height_shift

  • -30 ~ +30%

• shear

  • -30 ~ +30%

• AugMix 上のImageDataGenerator系とは共存しません →最後にMixします https://github.com/google-research/augmix/blob/master/augment_and_mix.py https://github.com/google-research/augmix/blob/master/augmentations.py

問題点・未実装

• zoom_range, rotation_range, width_shift_range, height_shift_range, shear_rangeの範囲を可変にする →commit済み

• Color Augmentation Albumentation? or PILで実装 Color shift, Color max/min clip, Blur, Noise(e.g. Gaussian kernel) Color ShiftのみはImageDataGeneratorでできる模様

• AugMix ひとまず入力画像に対してのみ実装。labelはDAしてません（つまりハードラベル） →元画像保ったままではあるのでいいでしょうか？ Affine変換系(translateやshear)を適用したらmixの割合でsoft labelにした方が良さそうではあります（が、実装が思いつきません）

また、元論文だと

通常のLoss(SoftmaxCrossEntropyとか)に加えて以下のようなJensen-Shannon divergenceを加えたLossで評価する。

# Cross-entropy is only computed on clean images
loss = F.cross_entropy(logits_clean, targets)

  p_clean, p_aug1, p_aug2 = F.softmax(
      logits_clean, dim=1), F.softmax(
          logits_aug1, dim=1), F.softmax(
              logits_aug2, dim=1)

  # Clamp mixture distribution to avoid exploding KL divergence
  p_mixture = torch.clamp((p_clean + p_aug1 + p_aug2) / 3., 1e-7, 1).log()
  loss += 12 * (F.kl_div(p_mixture, p_clean, reduction='batchmean') +
                F.kl_div(p_mixture, p_aug1, reduction='batchmean') +
                F.kl_div(p_mixture, p_aug2, reduction='batchmean')) / 3.

だそうですが、未実装。

元論文だと、AugMixする前に
horizontal_flip
左右反転＋上下左右4ピクセル?のクロップ(上下左右0.125でランダムクロップ)
をしている模様だが、未実装。~~（segmentation_augの順番入れ替えればすぐできます）~~
ImageDataGeneratorのあとにAugMixするように変更しました。

- AugmentationのOptuna
AutoAugment, RandAugmentの方が良さそう？
ただし、上記は幾何学的DAしか探索してくれない

[yumion]

yamlのaugmentationの書き方が変わりました 辞書型の入れ子になりました． zoomはリストで範囲を決めます．

# Data Augmentation
augmentation: 
    # -(ハイフン) 入れちゃダメ
    vertical_flip: no
    horizontal_flip: yes
    zoom_range: [0.5, 1.2]  # x0.5 ~ x1.2 # min: x0.1 ~ max: x1.9
    rotation_range: 30  # -30 ~ +30 degree
    width_shift_range: 0.3  # -30% ~ 30%
    height_shift_range: 0.1  # -10% ~ 10%
    shear_range: 30  # -30 ~ 30 degree
    augmix: yes

[yumion]

現状のコードだと

vertical_flip: no

とかやっても書いてあったらDAかかっちゃう仕様になっちゃいました

[aiorhiroki]

見ま〜す。でも、albumentationでできるなら、また考えないといけないかな？？

[yumion]

そうですね、AugMixもPILなので、cv2に書き直します