TryOffDiff：拡散モデルを用いた高忠実度衣服復元による仮想試着解除

[fulfulggg]

タイトル: TryOffDiff：拡散モデルを用いた高忠実度衣服復元による仮想試着解除

リンク: https://arxiv.org/abs/2411.18350

概要:

本論文では、衣服を着た人物の単一写真から標準化された衣服画像を生成することに焦点を当てた新しいタスク、Virtual Try-Off (VTOFF) を紹介します。モデルにデジタルで衣服を着せる従来のバーチャルトライオン (VTON) とは異なり、VTOFF は正規化された衣服画像の抽出を目的としており、衣服の形状、質感、複雑な模様のキャプチャという独自の課題を提示します。この明確に定義された目標により、VTOFF は生成モデルにおける再構成忠実度の評価に特に効果的です。本論文では、高忠実度とディテールの保持を保証するために、SigLIPベースの視覚的条件付けを用いてStable Diffusionを適応させたモデル、TryOffDiff を提案します。修正版VITON-HD データセットを用いた実験では、私たちのアプローチが、ポーズ転送とバーチャルトライオンに基づくベースライン手法よりも、前処理と後処理のステップが少なく、優れたパフォーマンスを示すことが実証されました。私たちの分析は、従来の画像生成指標では再構成品質の評価が不十分であることを明らかにし、より正確な評価のためにDISTSに依拠する必要性を示唆しています。私たちの結果は、VTOFF がeコマースアプリケーションにおける商品画像の向上、生成モデル評価の進歩、そして高忠実度再構成に関する今後の研究の促進に貢献する可能性を強調しています。デモ、コード、モデルは https://rizavelioglu.github.io/tryoffdiff/ で公開しています。

[fulfulggg]

@yukihiko-fuyuki が以下のラベルを提案し、適用しました：

• diffusion-models
• generative-models
• virtual-try-on

[fulfulggg]

論文要約

TryOffDiff：仮想試着解除で高精細な服画像を生成

この論文では、人物が服を着ている写真から、その服だけを高画質で抜き出す「仮想試着解除 (Virtual Try-Off / VTOFF)」という新しい技術を提案しています。

• 従来の仮想試着 (VTON) との違い: VTONは人物画像に服をデジタルで着せる技術ですが、VTOFFは逆に服を脱がせて、服単体の画像を生成します。
• 課題: 服の形状、質感、模様を正確に再現する必要があるため、高精度な画像生成が求められます。
• 提案手法 (TryOffDiff): 画像生成AIとして有名なStable Diffusionを改良し、高画質化技術 (SigLIP) を組み合わせることで、より忠実に服を再現するモデルを開発しました。
• 結果: 既存手法と比べて、服の画像をより高精度に生成できることを確認しました。また、従来の画像評価指標では不十分で、DISTSという指標を使うことでより正確に評価できることを示しました。
• 応用: ECサイトの商品画像作成、画像生成AIの性能評価などへの応用が期待されます。

簡単に言うと、人物写真から服だけをきれいに抜き出して、ECサイトで使えるような商品画像を自動生成する技術を開発した、という内容です。