search

YoungSeng / DiffuseStyleGesture

DiffuseStyleGesture: Stylized Audio-Driven Co-Speech Gesture Generation with Diffusion Models (IJCAI 2023) | The DiffuseStyleGesture+ entry to the GENEA Challenge 2023 (ICMI 2023, Reproducibility Award)
MIT License
147 stars 21 forks source link

2个疑问 #29

Open YoungSeng opened 8 months ago

YoungSeng commented 8 months ago

1）你放出的模型是只在ZEGGS上训练的吗，step为450000时候的模型，我按照指示重新训了似乎结果不及你公开的那个模型效果 2）关于diffusion实时加速师弟你有好建议吗？（我试了什么都不动，PLMS 和DDIM 都还是慢）

YoungSeng commented 8 months ago

DiffusStyleGesture是在ZEGGS上训练的，plus是在BEAT和TWH上训练的，是的，我们也发现了这个，事实上应该越多越好；实时应该做不到，确实生成比较慢，是一个问题，跟这个模型的架构有关，如果推理一定要追求速度，可以推理的时候把噪声步改小，例如把1000改成100，尝试效果也还好。