Open Yagami360 opened 4 years ago
SE block について(前提知識) CNN は、局所的な空間パターンを学習して特徴マップを出力しているが、論文「Squeeze-and-Excitation Networks」で提案されている squeeze & excitation (SE) block は、CNN におけるこのような局所的な空間パターンと特徴マップの各チャンネル間での依存性を捉えることで、画像認識の精度を大きく向上させている。 具体的には、global average pooling layer で特徴マップの各チャンネルの出力を重み付けすることで特徴マップの各チャンネル間の依存性を学習可能にしている。 また SE block は、それ自体で1つのネットワークになているのではなくて、任意の CNN に組み込み可能なサブブロックとして機能する。 この SE block の構造を持つ CNN は画像認識コンペ(ILSVRC 2017 classification competition on the ImageNet dataset)で first place solution となった。
SE block の F-CNN への適用
Spatial Squeeze and Channel Excitation Block (cSE)
Channel Squeeze and Spatial Excitation Block (sSE)
Spatial and Channel Squeeze & Excitation Block (scSE)
本論文ではセマンティクスセグメンテーションタスクの目的のために最終的に、上図のように cSE block と cSE block を組み合わせた Spatial and Channel Squeeze & Excitation Block (scSE) を採用する。 式で書くと、scSE block は以下のようになる。
この scSE block の構造により、特徴マップのチャンネル間の関係性とチャンネル画像の空間的な関係性の両方を捉えることが可能となる。
上図は、全畳み込みネットワーク (DenseNet, SD-Net, U-Net) に、本論文で提案されている各 block を追加したときのテストデータにおける mean Dice score 値を比較した図である。 scSE block 追加により最もスコアが向上していることが見て取れる。
0. 論文情報・リンク
1. どんなもの?
2. 先行研究と比べてどこがすごいの?
3. 技術や手法の"キモ"はどこにある?
SE block について(前提知識) CNN は、局所的な空間パターンを学習して特徴マップを出力しているが、論文「Squeeze-and-Excitation Networks」で提案されている squeeze & excitation (SE) block は、CNN におけるこのような局所的な空間パターンと特徴マップの各チャンネル間での依存性を捉えることで、画像認識の精度を大きく向上させている。 具体的には、global average pooling layer で特徴マップの各チャンネルの出力を重み付けすることで特徴マップの各チャンネル間の依存性を学習可能にしている。 また SE block は、それ自体で1つのネットワークになているのではなくて、任意の CNN に組み込み可能なサブブロックとして機能する。 この SE block の構造を持つ CNN は画像認識コンペ(ILSVRC 2017 classification competition on the ImageNet dataset)で first place solution となった。
SE block の F-CNN への適用
Spatial Squeeze and Channel Excitation Block (cSE)
Channel Squeeze and Spatial Excitation Block (sSE)
Spatial and Channel Squeeze & Excitation Block (scSE)
本論文ではセマンティクスセグメンテーションタスクの目的のために最終的に、上図のように cSE block と cSE block を組み合わせた Spatial and Channel Squeeze & Excitation Block (scSE) を採用する。 式で書くと、scSE block は以下のようになる。
この scSE block の構造により、特徴マップのチャンネル間の関係性とチャンネル画像の空間的な関係性の両方を捉えることが可能となる。
4. どうやって有効だと検証した?
上図は、全畳み込みネットワーク (DenseNet, SD-Net, U-Net) に、本論文で提案されている各 block を追加したときのテストデータにおける mean Dice score 値を比較した図である。 scSE block 追加により最もスコアが向上していることが見て取れる。
5. 議論はあるか?
6. 次に読むべき論文はあるか?
7. 参考文献