请问支持中文语音吗？是否需要自己训练？

YoungSeng / DiffuseStyleGesture

DiffuseStyleGesture: Stylized Audio-Driven Co-Speech Gesture Generation with Diffusion Models (IJCAI 2023) | The DiffuseStyleGesture+ entry to the GENEA Challenge 2023 (ICMI 2023, Reproducibility Award)

MIT License

137 stars 19 forks source link

请问支持中文语音吗？是否需要自己训练？ #37

Open cacard opened 3 months ago

cacard commented 3 months ago

您好，请问该模型是否有预训练数据？是否支持中文？如果我用自己的中文数据训练，是否支持（中文）？

YoungSeng commented 3 months ago

预训练数据具体是指？

DiffuseStyleGesture 是在ZEGGS上训练的，DiffuseStyleGesture+是在 BEAT 还有TWH上训练的；推理可以用中文的语音但是效果一般，毕竟训练数据集中没有见过中文，且WavLM也是英文的预训练特征

BEAT 有中文数据集你可以试着训练一下