[2021] Rethinking and Improving the Robustness of Image Style Transfer

[gatheluck]

論文リンク

• arXiv

公開日（yyyy/mm/dd）

2021/04/08 CVPR 2021 (nominee)

概要

TeX

% yyyy/mm/dd
@article{
    2021rethinking,
    title={Rethinking and Improving the Robustness of Image Style Transfer},
    author={Pei Wang and Yijun Li and Nuno Vasconcelos},
    journal=arXiv # "2104.05623",
    year={2021}
}

[gatheluck]

ResNetでStyle Transferがどうして上手くいかないかを研究. residual connectionはエントロピーの小さい特徴量マップを産むことを発見し, これはStyle Transferには好ましくない特徴であることを確認. StyleTransferをよりロバストにするためにsoftmax transformationでアクティベーションマップのエントロピーを強調する手法, Stylization With Activation smoothinG (SWAG)を提案. 提案手法はVGGやResNetの結果だけではなくrandom weightのモデルの結果すら向上させた. 実験結果が示すのはStyle Transferにおいては, 学習した重みよりも, 特徴量を抽出するモデルの構造の方が重要であること.

[gatheluck]

• ResNetのアクティベーションは深い層で, ピークが大きく, エントロピーが小さい. このことから, ResNetが少ない数の特徴量チャネルに依存していることが分かる.
• VGGのアクティベーションは全ての層でほぼ一様.