Closed GuangtaoLyu closed 3 months ago
混合训练 将HumanML3D、KIT-ML和CMP数据集混合起来训练模型,在评估指标上会带来巨大提升,但评估指标和视觉效果并不等价,对于部分生成结果,混合训练的模型表现不如单独使用CMP数据集训练的模型,这是因为不同数据集动作风格的差异改变了数据分布,进而影响了模型的性能。
感谢作者的工作。作者是怎么混合训练的?是自己把KIT-ML也处理成Humanml3d的格式了吗?能不能分享一下做法。 感谢。
一种是HumanML3D和CM混合,重新计算std和mean,再一起训练。没有使用KIT-ML。 另一种是用HunamML3D的预训练模型在CM上微调。 两种做法都会让生成的动作风格偏移。所以我们的解决思路是把数据集从做大转向做精。CMP的战斗风格更强,标注也更精细。
混合训练 将HumanML3D、KIT-ML和CMP数据集混合起来训练模型,在评估指标上会带来巨大提升,但评估指标和视觉效果并不等价,对于部分生成结果,混合训练的模型表现不如单独使用CMP数据集训练的模型,这是因为不同数据集动作风格的差异改变了数据分布,进而影响了模型的性能。
感谢作者的工作。作者是怎么混合训练的?是自己把KIT-ML也处理成Humanml3d的格式了吗?能不能分享一下做法。 感谢。