AttentionPainter：風景画のための効率的かつ適応性の高いストローク予測器

[fulfulggg]

タイトル: AttentionPainter：風景画のための効率的かつ適応性の高いストローク予測器

リンク: https://arxiv.org/abs/2410.16418

概要:

ストロークベースレンダリング（SBR）は、入力画像をパラメータ化されたストロークのシーケンスに分解することを目的としており、入力画像に似た絵画にレンダリングすることができます。近年、深層学習と強化学習モデルを用いてストロークシーケンスを予測するニューラルペイント手法が開発されていますが、推論時間が長くなったり、学習が不安定になったりするなどの問題がありました。これらの問題に対処するため、本研究では、効率的で適応性の高いシングルステップニューラルペイントモデルであるAttentionPainterを提案します。まず、従来の強化学習や自己回帰的手法のように反復的に予測するのではなく、単一のフォワードプロセスで大規模なストロークパラメータを予測する、スケーラブルなストローク予測器を提案します。これにより、AttentionPainterは従来のニューラルペイント手法よりも高速になります。学習効率をさらに向上させるために、学習を13倍高速化するFast Stroke Stackingアルゴリズムを提案します。さらに、モデルが詳細情報に小さなストロークを使用するように促し、再構成品質の向上に役立つStroke-density Lossを提案します。最後に、条件付きおよび無条件のストロークベース生成の両方のための新しいストローク拡散モデルを提案します。これは、ストロークパラメータ空間でノイズ除去を行い、人間のアーティストのデザインに役立つストロークベースのインペイントおよび編集アプリケーションを容易にします。広範な実験により、AttentionPainterが最新のニューラルペイント手法よりも優れていることが示されました。

[fulfulggg]

@yukihiko-fuyuki が以下のラベルを提案し、適用しました：

• diffusion-models
• image-generation
• style-transfer

[fulfulggg]

論文要約

論文要約: AttentionPainter：風景画のための効率的かつ適応性の高いストローク予測器

問題点:

• 従来の風景画を描くAIは、処理時間が長く、学習が不安定だった。

解決策:

• AttentionPainter という新しいAIモデルを開発。
  • 一度の処理で大量の描画パラメータを予測: 従来のAIのように何度も予測を繰り返さないので高速。
  • 学習を高速化するアルゴリズム: 従来より13倍速く学習可能。
  • 細部まで美しく描画するための損失関数: よりリアルな絵画を生成。
  • 人間が修正しやすいような描画方法: ストロークベースの編集を容易にする。

結果:

• AttentionPainterは従来のAIよりも高速かつ高品質な風景画の生成に成功。
• 新しいAIモデルは、絵画制作や画像編集への応用が期待される。