search

YoungSeng / DiffuseStyleGesture

DiffuseStyleGesture: Stylized Audio-Driven Co-Speech Gesture Generation with Diffusion Models (IJCAI 2023) | The DiffuseStyleGesture+ entry to the GENEA Challenge 2023 (ICMI 2023, Reproducibility Award)
MIT License
147 stars 21 forks source link

根节点位置漂移 #21

Closed Owen1234560 closed 10 months ago

Owen1234560 commented 11 months ago

非常感谢您的开源模型。 我问下，怎么较好地解决身体的根节点位置漂移问题？生成的动作身体漂移显得很不自然。我用提供的预训练模型和自己数据重新训练的模型，都或多或少存在这个问题。

YoungSeng commented 11 months ago

是的，也发现ZEGGS的数据表示训练出来存在这个问题，我建议：

  1. 更换motion representation，尝试DiffuseStyleGesture+，漂移得到了部分改善；
  2. 对下半身进行IK优化，可参考UnifiedGesture
Owen1234560 commented 11 months ago

好的，非常感谢大佬支持