Open knok opened 2 years ago
Lucy Chai, Michael Gharbi, Eli Shechtman, Phillip Isola, Richard Zhang
https://arxiv.org/abs/2204.07156
高解像度かつ任意のサイズの画像を生成可能なGAN 一度固定解像度でStyleGAN3を訓練し、それを教師モデルとしながら可変サイズ出力Generatorを訓練する。 固定解像度データが十分あれば、可変サイズ訓練用データはそこまで多くなくても良い。
連続空間Generator 大きな画像からクリッピングしたパッチ領域を用いてGを訓練する。 潜在変数に加え画像スケール情報を追加情報として与える。 パッチ領域もさまざまなスケールで学習する。
定式化 z: 潜在変数 c_v,s: 正規化されたピクセルグリッド (p x p x 2次元) s: スケール情報 F(): 連続空間上のフーリエ埋め込み M(): 潜在変数とスケール情報をStyleGAN3 generatorの操作パラメータに変換する補助関数
実装 https://github.com/chail/anyres-gan
Lucy Chai, Michael Gharbi, Eli Shechtman, Phillip Isola, Richard Zhang
https://arxiv.org/abs/2204.07156
概要
高解像度かつ任意のサイズの画像を生成可能なGAN 一度固定解像度でStyleGAN3を訓練し、それを教師モデルとしながら可変サイズ出力Generatorを訓練する。 固定解像度データが十分あれば、可変サイズ訓練用データはそこまで多くなくても良い。
連続空間Generator
大きな画像からクリッピングしたパッチ領域を用いてGを訓練する。
潜在変数に加え画像スケール情報を追加情報として与える。
パッチ領域もさまざまなスケールで学習する。
定式化
z: 潜在変数
c_v,s: 正規化されたピクセルグリッド (p x p x 2次元)
s: スケール情報
F(): 連続空間上のフーリエ埋め込み
M(): 潜在変数とスケール情報をStyleGAN3 generatorの操作パラメータに変換する補助関数
実装 https://github.com/chail/anyres-gan