PocoLoco：ゆったりとした衣服を着た人間の形状を表現する点群拡散モデル

[fulfulggg]

タイトル: PocoLoco：ゆったりとした衣服を着た人間の形状を表現する点群拡散モデル

リンク: https://arxiv.org/abs/2411.04249

概要:

人間の関節の動きに合わせて自然に変形するアバターのモデリングは、活発な研究領域です。私たちは、ゆったりとした服を着た3D人間のテンプレートフリーでポイントベース、ポーズ条件付きの初の生成モデルであるPocoLocoを発表します。既存のほとんどの手法は、ポーズ依存の変形を表現するために人体の形状モデルを必要とするため、裸体とトポロジー的に類似した衣服のモデリングに限定され、ゆったりとした衣服への拡張は困難です。ゆったりとした衣服のモデリングを試みる数少ない手法も、標準化やUVパラメータ化を必要とし、変形する衣服の対応関係を明示的に推定するという困難な問題に対処しなければなりません。本研究では、アバターの衣服の変形を、ノイズ除去拡散フレームワーク内の条件付き点群生成タスクとして定式化します。重要なのは、私たちのフレームワークは順序付けされていない点群で直接動作するため、形状モデルや衣服テンプレートが不要になることです。これにより、点群補完やポーズに基づく編集など、バーチャルヒューマンアニメーションにとって重要な様々な実用的なアプリケーションが可能になります。ゆったりとした服を着た人間の既存のデータセットは、拡散モデルの学習には小さすぎるため、合計75,000点群の、ゆったりとした服を着て様々なポーズをとる2人の被験者のデータセットを公開します。ゆったりとした衣服を効果的にモデリングするという困難な課題への取り組みと、これらのモデルの学習に使用できるデータの拡張に貢献することで、デジタルヒューマンのさらなる革新の基盤を築くことを目指します。ソースコードはhttps://github.com/sidsunny/pocoloco で入手可能です。

[fulfulggg]

@yukihiko-fuyuki が以下のラベルを提案し、適用しました：

• diffusion-models
• generative-models
• point-cloud-completion

[fulfulggg]

論文要約

PocoLocoは、ゆったりとした服を着た人の3D形状を生成する新しいAIモデルです。

• 特徴:

  • テンプレート不要：人体のベースとなるモデルを必要とせず、点の集合(点群)から直接服を着た形状を生成。
  • ポーズ条件付き：指定したポーズに合わせて服の形状を変化させることが可能。
  • ゆったりとした服に対応：従来難しかった、体に密着しない服の表現が可能。

• 従来手法の問題点:

  • 体に密着した服のモデリングが中心で、ゆったりした服への対応が困難。
  • ベースとなる人体モデルやテンプレートが必要。
  • 服の変形を計算するために複雑な処理が必要。

• PocoLocoの利点:

  • 点群ベースなので、人体モデルやテンプレート、複雑な処理が不要。
  • 点群の欠損部分を補完したり、ポーズに合わせて形状を編集するなどの応用が可能。

• データセット:

  • ゆったりとした服を着た人のデータセットは既存のものだと小さいため、新たに75,000点群のデータセットを作成・公開。

• 結論:

  • PocoLocoは、ゆったりとした服を着たデジタルヒューマンの表現を大きく前進させる技術。
  • 新たなデータセットの公開により、今後の研究の発展にも貢献。