混合训练

[GuangtaoLyu]

混合训练 将HumanML3D、KIT-ML和CMP数据集混合起来训练模型，在评估指标上会带来巨大提升，但评估指标和视觉效果并不等价，对于部分生成结果，混合训练的模型表现不如单独使用CMP数据集训练的模型，这是因为不同数据集动作风格的差异改变了数据分布，进而影响了模型的性能。

感谢作者的工作。作者是怎么混合训练的？是自己把KIT-ML也处理成Humanml3d的格式了吗？能不能分享一下做法。 感谢。

[fyyakaxyy]

混合训练 将HumanML3D、KIT-ML和CMP数据集混合起来训练模型，在评估指标上会带来巨大提升，但评估指标和视觉效果并不等价，对于部分生成结果，混合训练的模型表现不如单独使用CMP数据集训练的模型，这是因为不同数据集动作风格的差异改变了数据分布，进而影响了模型的性能。

感谢作者的工作。作者是怎么混合训练的？是自己把KIT-ML也处理成Humanml3d的格式了吗？能不能分享一下做法。 感谢。

一种是HumanML3D和CM混合，重新计算std和mean，再一起训练。没有使用KIT-ML。 另一种是用HunamML3D的预训练模型在CM上微调。 两种做法都会让生成的动作风格偏移。所以我们的解决思路是把数据集从做大转向做精。CMP的战斗风格更强，标注也更精细。