Open personabb opened 2 hours ago
CADS: Unleashing the Diversity of Diffusion Models through Condition-Annealed Sampling
CADSは、拡散モデルの条件付きガイダンスをアニーリングすることで生成多様性を向上させ、画質と多様性のトレードオフを解決します。
わからない
Seyedmorteza Sadat (ETH Zurich), Jakob Buhmann, Derek Bradley, Otmar Hilliges (Disney Research | Studios)
2024/05/13
拡散モデルの出力多様性を向上させる手法「Condition-Annealed Diffusion Sampler (CADS)」を提案しています。高い条件付きガイダンススケールでは画像品質が向上するものの、出力の多様性が制限される問題があります。この論文では、CADSにより条件信号にガウスノイズを徐々に減少させるアニーリング戦略を導入し、多様性と条件の整合性をバランスさせる方法を提示しています。
CADSは、あらゆる事前学習モデルおよびサンプリングアルゴリズムで利用可能で、事前学習済みのクラス条件付きImageNet生成タスクにおいて新たな最先端のFIDスコア（256x256で1.70、512x512で2.31）を達成しました。
従来の高いガイダンススケールの問題である「画質向上と多様性低下」というトレードオフを克服した点が優れています。また、CADSは既存のモデルに再トレーニング不要で適用できるため、計算資源の節約が可能です。
CADSは条件付き信号に加えるノイズをアニーリングし、初期のサンプリングステップでは統計的依存を減少させ、後のステップで条件依存を復元することにより、多様性のある出力を維持しつつ条件に従った生成を可能にします。
ImageNet、DeepFashion、Stable Diffusionなど複数の生成タスクでCADSの有効性を評価しました。Frechet Inception Distance (FID) やRecallといった指標を用いて、CADSの多様性向上効果を数値的に検証しました。
CADSの適用により、一部のクラス条件付きタスクでわずかな精度低下が見られる可能性があるものの、多様性の向上による品質への悪影響は最小限です。また、セグメンテーションマップなどの条件がより複雑な場合への応用は今後の課題とされています。
CADSにより、256x256と512x512のImageNet生成タスクで最先端のFIDスコアを達成し、従来のDDPMを超える多様性の高い出力が得られました。
CADSは、簡便かつ汎用性の高い手法であり、追加の再トレーニングを必要とせず、さまざまな拡散サンプリング方法に適用可能である点で注目に値します。
CADSのアニーリング手法は、条件信号 (\mathbf{y}) に時間 (t) に応じたノイズ (\mathbf{n} \sim N(0, I)) を追加して改変し、次式で表されます: [ \hat{\mathbf{y}} = \sqrt{\gamma(t)} \mathbf{y} + s \sqrt{1 - \gamma(t)} \mathbf{n} ] ここで、(s) は初期ノイズスケール、(\gamma(t)) は線形アニーリングスケジュールです。サンプリングの初期ステップでは大きなノイズを加え、後半ではノイズを減らすことで条件への依存を調整しています。
https://chatgpt.com/c/671e6696-69a0-8006-84f3-a7a4d53c6314
参考：https://qiita.com/sasgawy/items/8546c784bc94d94ef0b2#cads-iclr24-%E5%A4%9A%E6%A7%98%E6%80%A7%E3%82%92%E5%90%91%E4%B8%8A%E3%81%95%E3%81%9B%E3%82%8Bsampling
personabb
commented
2 hours ago personabb
commented
2 hours ago
論文タイトル（原文まま）
CADS: Unleashing the Diversity of Diffusion Models through Condition-Annealed Sampling
一言でいうと
CADSは、拡散モデルの条件付きガイダンスをアニーリングすることで生成多様性を向上させ、画質と多様性のトレードオフを解決します。
論文リンク
わからない
著者/所属機関
Seyedmorteza Sadat (ETH Zurich), Jakob Buhmann, Derek Bradley, Otmar Hilliges (Disney Research | Studios)
投稿日付(yyyy/MM/dd)
2024/05/13
概要
In this paper,
拡散モデルの出力多様性を向上させる手法「Condition-Annealed Diffusion Sampler (CADS)」を提案しています。高い条件付きガイダンススケールでは画像品質が向上するものの、出力の多様性が制限される問題があります。この論文では、CADSにより条件信号にガウスノイズを徐々に減少させるアニーリング戦略を導入し、多様性と条件の整合性をバランスさせる方法を提示しています。
As a result,
CADSは、あらゆる事前学習モデルおよびサンプリングアルゴリズムで利用可能で、事前学習済みのクラス条件付きImageNet生成タスクにおいて新たな最先端のFIDスコア（256x256で1.70、512x512で2.31）を達成しました。
先行研究と比べてどこがすごい？
従来の高いガイダンススケールの問題である「画質向上と多様性低下」というトレードオフを克服した点が優れています。また、CADSは既存のモデルに再トレーニング不要で適用できるため、計算資源の節約が可能です。
技術や手法のキモはどこ？
CADSは条件付き信号に加えるノイズをアニーリングし、初期のサンプリングステップでは統計的依存を減少させ、後のステップで条件依存を復元することにより、多様性のある出力を維持しつつ条件に従った生成を可能にします。
どうやって有効だと検証した？
ImageNet、DeepFashion、Stable Diffusionなど複数の生成タスクでCADSの有効性を評価しました。Frechet Inception Distance (FID) やRecallといった指標を用いて、CADSの多様性向上効果を数値的に検証しました。
議論はある？
CADSの適用により、一部のクラス条件付きタスクでわずかな精度低下が見られる可能性があるものの、多様性の向上による品質への悪影響は最小限です。また、セグメンテーションマップなどの条件がより複雑な場合への応用は今後の課題とされています。
結果
CADSにより、256x256と512x512のImageNet生成タスクで最先端のFIDスコアを達成し、従来のDDPMを超える多様性の高い出力が得られました。
次に読むべき論文は？
コメント
CADSは、簡便かつ汎用性の高い手法であり、追加の再トレーニングを必要とせず、さまざまな拡散サンプリング方法に適用可能である点で注目に値します。
手法の詳細（数式や理論展開など）
CADSのアニーリング手法は、条件信号 (\mathbf{y}) に時間 (t) に応じたノイズ (\mathbf{n} \sim N(0, I)) を追加して改変し、次式で表されます: [ \hat{\mathbf{y}} = \sqrt{\gamma(t)} \mathbf{y} + s \sqrt{1 - \gamma(t)} \mathbf{n} ] ここで、(s) は初期ノイズスケール、(\gamma(t)) は線形アニーリングスケジュールです。サンプリングの初期ステップでは大きなノイズを加え、後半ではノイズを減らすことで条件への依存を調整しています。