🚧 2019: Exploring the Origins and Prevalence of Texture Bias in Convolutional Neural Networks

[M-Mitsuki]

Exploring the Origins and Prevalence of Texture Bias in Convolutional Neural Networks Katherine L. Hermann, Simon Kornblith https://arxiv.org/abs/1911.09071

[M-Mitsuki]

Introduction

• ImageNetでトレーニングされたCNNのテクスチャバイアスの起源について、モデルアーキテクチャ、データセット、タスク、およびトレーニング手順の効果を調査する。

Do CNNs more readily learn texture?

• モデルがこれらのタスクを適切に実行するために必要な時間とデータを調べ、CNNが形状またはテクスチャ情報のどちらをより簡単に活用できるかどうかを調査する。
  • AlexNetモデルとResNet-50モデルの両方が、少なくともテクスチャと同程度に形状を分類することを学習していることが分かった。
• AlexNetはGeirhos Style Transfer and Navon datasetsに対して、shape推論精度がtexture推論精度よりも、より早い段階で上昇する。

To what extent are shape and texture represented in ImageNet models?

• Geirhosらは、ImageNetでトレーニングされたCNNが、形状よりもテクスチャーに応じて分類しがちな傾向があることを発見しましたが、優先的にテクスチャに基づいて分類する場合でも、形状の情報はまだモデル内で正しく表されているはずなので、これを調査する。
• ImageNetでトレーニングしたモデルを用いて、"shape"と"style"の推論をおこなう(Center Crop)。各レイヤーの特徴量を用いて、線形分類器を学習する。
• AlexNetとResNet-50の分類には高度なテクスチャバイアスがあるが、形状を高い精度でデコードできることが分かった。 (>66%; chance = 6.25%)
• 興味深いこととして、形状の推論精度はAlexNet分類器のFCレイヤーと、ResNet-50のGlobal Average Poolingによって低下し、これらのモデルの分類層が形状情報を削除することを示唆している。

Does training objective affect shape bias?

• テクスチャバイアスが、ImageNetの画像ラベルに関する統計によって引き起こされているのでは？という仮説が立つ。 たとえば、データセット内の"犬種"に正しくラベルを付けるには、モデルは類似した形状のオブジェクトに対して、テクスチャベースの区別をする必要がある。
• この仮説をテストするために、標準的な教師あり学習で訓練されたモデルの形状バイアスを、教師あり学習とは異なる目的で訓練されたモデルと比較した。
  • 目的とモデルアーキテクチャの相互作用を調べるために、各目的ごとにAlexNetとResNet-50の両方のアーキテクチャでモデルをトレーニングした。
  • Objective: Self-supervised loss(Rotation classification)、Exemplar、BigBiGAN
  • Shape Acccuracy: オブジェクトのShapeを正しく予測した割合
  • Shape Bias: オブジェクトのShapeかTextureの予測のどちらかのみ正しいものの内、形状を予測できた割合？
  • shape biasが高くても、shape accuracyにはつながらない。
  • rotation modelは、非常に強いshape biasを持つ。ただしこのゲインは、テクスチャ精度の大幅な低下がみられ、二次的には形状精度はわずかにしか増加していないことに注意しよう。
  • BigBiGANもshape biasが高いが、Exemplarはそうでもないことを考えると、CNNは目的に関係なく、テクスチャを習得する傾向がある。 回転に不変であるテクスチャ機能はrotationタスクには役に立たないため、他のタスクよりも低いテクスチャバイアスを持っている可能性がある。
• 興味深いこととして、アーキテクチャとタスクの効果はほとんど独立しているように見える。タスク間の形状バイアスのランク順は、2つのモデルアーキテクチャで類似していた。

Does architecture influence shape bias?

• AlexNetがResNetよりも高いshape biasを示したので、アーキテクチャについて調査する。
• Shape biasとshape accuracyには、ImageNet top-1 accuracyにおいて相関を持ち、ImageNetのパフォーマンスには形状情報がより効果的であることを示唆してる。
• 霊長類の視覚システムに一致するように明示的に構築されたモデルは、標準のCNNよりも低いテクスチャバイアスを示すかを、CORNetで調査した。
  • その結果、他のモデルよりも大きなshape biasを示すわけでもなく、texture accuracyは観測した中では高い精度を示した。
• CNN自身ははたして、texture biasを引き起こすのか？
  • 全CNNをattentionに置き換えたResNet-50で調査する。
  • shape bias: 20.2% (shape accuracy: 12.8%; texture accuracy: 50.7%)
  • baseline → shape bias: 23.2% (shape accuracy: 14.4%; texture accuracy: 47.7%)
  • あまり影響はなかった・・・

Does the training process contribute to texture bias?

• Geirhosらは実験で"random crop"を使っていたが、大きなオブジェクトをクロップする場合に、形状がランダムに変化する部分がクロップされると、テクスチャに比べて形状の信頼性が低くなるため、このような前処理は画像からグローバルな形状情報を削除してしまうのではないか？という仮説が立つ。
  • 形状バイアスはrandom cropよりもcenter cropの方が高く、仮説と一致した。同様に、形状精度はcenter cropの方が高かった。
  • テクスチャ精度はモデルによって異なり、AlexNetやVGG16はcenter cropよりもrandom cropが高く、ResNet-50やInception-ResNet v2は逆の結果となる。
• 検証セットのパフォーマンスを最適化するハイパーパラメータは、形状またはテクスチャバイアスのいずれかに対して、必ずしも最適化されるわけではない。
  • ハイパーパラメータと形状またはテクスチャの精度との関係に、一貫したパターンがあるかどうかを判断するために、学習率と重み減衰設定における調査をおこなった。
  • 学習率と重み減衰の値が高いほど形状精度と形状バイアスが大きくなり、学習率が低いほどテクスチャ精度が高くなる。
  • ネットワークが問題なくトレーニングできるmaxの学習率でmaxの形状精度を、minの学習率でmaxのテクスチャ精度がでた。ImageNetのクラスごとの平均精度は、重み減衰と学習率の積の値には反応したが、学習率自体の値にはあまり反応しない。

Discussion

• Section3にて、CNNがテクスチャと同じくらい簡単に形状を使用することを学習できることを示唆したが、なぜ[27、4]のような研究は、ImageNetでトレーニングされたモデルのテクスチャバイアスを一貫して見つけるのか？
• トレーニングの目的、モデルアーキテクチャ、データの前処理、ハイパーパラメータ選択のすべては、モデルのテクスチャバイアスのレベルに明確に寄与することがわかった。
  • AlexNetはなぜresNet-50よりも高いshape biasを示したのか？
  • これらのモデルはtexture biasによる分類の決定をおこなうという事実にもかかわらず、画像の形状情報は内包されている。 実験により、分類層が形状情報を徐々にdown-weightすることを示唆された。
  • アーキテクチャとは無関係に、トレーニングの目的はモデルのテクスチャバイアスのレベルに影響する。
  • 高性能のsupervised-ImageNet modelでは、形状バイアスと形状精度はパフォーマンスと有意に正の相関があるが、謎が生じる。形状に基づいた分類決定がImageNetのパフォーマンスに役立つとしたら、モデルがこの機能をより活用するようになぜ学習しないのか？
  • 注意点は、実験の多くにGeirhos Style Transferデータセットを使用していることである。 このデータセット自体の作成に使用されるスタイル変換モデルにはImageNetでトレーニングされたCNNが含まれているため、このデータセットが評価に使用するモデルから完全に独立しているわけではない。 ImageNetでトレーニングされたCNNとは無関係に生成される自然なデータセットを開発することが期待される。
  • 形状バイアス、精度、ImageNetのパフォーマンスの相関関係は価値ある情報であり、我々の実験によりCNNが形状情報をよりよく学習されるべきであることを示唆した。
  • 形状バイアスの表現を学習するために、データ拡張を必要としないモデルアーキテクチャを構築することは１つの目標であり、テクスチャの精度を最小化することで達成できる形状バイアスを単に最大化するのではない。理想的な形状バイアスモデルは、画像に存在する形状とテクスチャの両方の情報を利用するモデルである。