fulfulggg
commented
1 week ago 論文要約
FitDiTは、よりリアルなバーチャル試着を実現する新しい技術です。従来の手法より高画質で、服の柄や模様、シワなどの細かい部分を忠実に再現できます。
- 高画質化: 拡散トランスフォーマー(DiT)技術をベースに、高解像度の画像生成に特化。
- リアルな服の再現: 服の柄や模様などの「テクスチャ」を正確に抽出し、仮想試着後の画像にも反映。特に、縞模様や文字などの細かい部分の再現性を向上。
- 自然なサイズ調整: 服のサイズに合わせて自然に変形させ、不自然な伸び縮みを防止。袖や裾の長さも適切に調整。
- 高速処理: 高画質でありながら、処理速度も高速。
これらの改良により、FitDiTは従来技術よりもリアルで自然なバーチャル試着体験を提供します。
タイトル: FitDiT：高忠実度バーチャル試着のためのリアルな衣服の細部表現の進化
リンク: https://arxiv.org/abs/2411.10499
概要:
画像ベースのバーチャル試着は大きく進歩しましたが、依然として様々な状況で忠実度が高くロバストな試着画像を生成するには課題が残っています。既存の手法は、テクスチャの保持やサイズに合わせたフィッティングといった問題に直面しており、全体的な効果を阻害しています。これらの制限に対処するため、高解像度の特徴に重点を置いた拡散トランスフォーマー（DiT）を用いた高忠実度バーチャル試着のための、FitDiTと呼ばれる新しい衣服認識強化技術を提案します。まず、テクスチャの保持をさらに向上させるため、衣服の事前知識に基づく進化を取り入れた衣服テクスチャ抽出器を導入し、縞模様、柄、テキストなどの細部をより適切に捉えられるように衣服の特徴を微調整します。さらに、高周波の衣服の細部を強化するため、周波数距離損失をカスタマイズした周波数領域学習を導入します。サイズに合わせたフィッティングの問題に対処するため、衣服の正しい長さに適応する拡張緩和マスク戦略を採用し、カテゴリを超えた試着時にマスク領域全体を埋める衣服の生成を防止します。上記の設計により、FitDiTは定性的および定量的評価の両方ですべてのベースラインを上回りました。写真のようにリアルで複雑な細部を持つ、適切にフィットした衣服の生成に優れており、DiT構造の軽量化後、1024x768の単一画像で4.57秒という既存手法を凌駕する競争力のある推論時間も達成しています。