ジョーカー：極端な表情を用いた条件付き3D頭部合成

[fulfulggg]

タイトル: ジョーカー：極端な表情を用いた条件付き3D頭部合成

リンク: https://arxiv.org/abs/2410.16395

概要:

新しい3次元人間の頭部合成手法であるJokerを紹介します。Jokerは、1枚の参照画像から、その人物のアイデンティティを保持したまま、新しい表情を持つ3次元頭部を合成することができます。表情は、3次元モーファブルモデル（3DMM）とテキスト入力によって制御されます。3DMMだけでは、口の中の動きや舌の動きを含む微妙な感情の変化や極端な表情を表現することができないため、このマルチモーダルな条件付け信号が不可欠です。私たちの方法は、彫刻、濃い化粧、絵画など、領域外のサンプルにもうまく一般化できる2次元拡散ベースの事前分布に基づいており、高いレベルの表現力を実現しています。視点の一貫性を向上させるために、2次元事前分布の予測をニューラル放射輝度場（NeRF）に変換する新しい3次元蒸留技術を提案します。2次元事前分布と蒸留技術の両方が最先端の結果を生み出し、広範な評価によって確認されています。また、私たちの知る限り、この方法は視点の一貫性を保ったまま極端な舌の動きを実現した最初のものです。

[fulfulggg]

@yukihiko-fuyuki が以下のラベルを提案し、適用しました：

• diffusion-models
• image-generation
• 3D-scene-representation

[fulfulggg]

論文要約

論文要約: ジョーカー：極端な表情を用いた条件付き3D頭部合成

• 目的: 1枚の顔写真から、その人の様々な表情の3Dモデルを生成する技術を開発する。
• 従来技術の課題: 従来の3Dモデルは、口や舌の微妙な動きや極端な表情を表現することが難しかった。
• 提案手法 (Joker):
  • マルチモーダルな条件付け: 3D顔モデルに加えて、テキスト入力によっても表情を制御。これにより、より豊かで微妙な表情表現が可能に。
  • 2次元拡散ベースの事前分布: 2次元の画像生成技術を応用することで、高精度な3Dモデル生成を実現。
  • 3次元蒸留技術: 2次元画像情報を3次元空間情報に変換することで、視点が変わっても自然な見た目を実現。
• 成果:
  • 従来手法よりも自然で多様な表情の3Dモデル生成が可能に。
  • 特に、舌の動きを伴う極端な表情の生成は、本研究が初めて。
• 応用可能性:
  • バーチャルリアリティ、アバター作成
  • 映画やゲームのキャラクター作成
  • 表情認識技術の向上