Learning to Warp for Style Transfer

[Shinosuke7110]

Authur

Xiao-Chang Liu, Yong-Liang Yang, Peter Hall, University of Bath,

Motivation

単一のセマンティッククラスで実現 トレーニングするモデルが違う？ ワーピングの性能が2桁違う、 non-parametric warpが生成できる。 「2つの画像を使用してスタイルを指定することをサポートします。これにより、他のNSTアルゴリズムにはない画像作成に多様性が追加されます。」

Method

変形元の画像Ic, 幾何学的ワーピングに使う画像Ig, テクスチャに利用する画像It, の3つの入力 二つのモジュール、モジュールDはnon-parametric vector field をIcをIgに合わせてゆがませるために計算する。3.1.に詳しく モジュールRはItを利用してテクスチャを適用し出力Ioを生成する。3.2.に詳しく DからRへ流すのがいいよ。

Insight

変形を行うことで、ほかの画風変換研究とは異なるニュアンスの画像生成が可能になる。 スタイル画像にコンテンツが蔵のディテールを足した画像を生成することになり、 既存のものとは単純比較するのも違うか ただ、DSTと比べると汎用性、特徴の組み方もいいものになっている。

投票方式？でも高い評価。変形の速度はとても速いが、テクスチャレンダリングに大きな差はない。

二枚の画像を入れ替えて実行するだけでも、異なる二つの結果が生まれるのが興味深い？ クレヨンのマップを適用して、子供の落書きのようにしたり、衣服の変形、適用により、シミュレーションも可能。 だが、1－1のマッピングが離れていて困難であったり、対応する点が1－1に抑えにくかったり、全く違う形状だとうまくいかない。

Contribution

---

Keyword

geometric warp = 幾何学的な歪み、描き手が意図的に描く非現実的な歪み？ ↑違った、warping が単純に画像に変形を加えて目的に沿うようにすること？上のことはdistotionだったわ

Unknown

Reflection

Reference

[Shinosuke7110]

https://github.com/xch-liu/learning-warp-st

[Shinosuke7110]

なんか、上下とか左右とかで領域分けたうえで、適切な画像を用意したら、どんな画像でも作れるようにならないかなー