search

GalaxyCong / HPMDubbing

[CVPR 2023] Official code for paper: Learning to Dub Movies via Hierarchical Prosody Models.
MIT License
99 stars 7 forks source link

预训练模型 #4

Closed XiaoYuanJun-zy closed 9 months ago

XiaoYuanJun-zy commented 9 months ago

非常优秀的工作，但是 我在用作者提供的预训练模型来合成音频时，几乎全是电流，这是为什么呢？ Mel图直接崩了。 这是val set合成出的音频：image 这是使用的预训练参数： image

后面，我自己重新训使用作者提供的预处理好的特征去重新训了模型，这是在30000步保存的模型合成的结果。 image image

效果虽然还不行，但是至少不是全是电流音。

issuer2002 commented 9 months ago

我也出现了这个问题，效果很差另外我想问问答主没有没尝试提取Chem数据集的特征，或者别的数据集的特征进行训练》

GalaxyCong commented 9 months ago

之前整理地有些仓促模型缺失了一些细节和checkpoint不匹配造成电音现象，我们这几天会仔细检查尽快更新出正确的版本。 我们会提供V2C和Chem两个数据集的pretrain model帮助您正常完成inference, 非常感谢您的关注，请您注意更新如果还有问题可以随时和我联系～ Chem数据集的特征已上传完成，密码chem～

issuer2002 commented 9 months ago

之前整理地有些仓促模型缺失了一些细节和checkpoint不匹配造成电音现象，我们这几天会仔细检查尽快更新出正确的版本。 我们会提供V2C和Chem两个数据集的pretrain model帮助您正常完成inference, 非常感谢您的关注，请您注意更新如果还有问题可以随时和我联系～ Chem数据集的特征已上传完成，密码chem～

如果方便的话 希望能将数据特征提取的步骤再详细写下，想要学习下

GalaxyCong commented 9 months ago

之前整理地有些仓促模型缺失了一些细节和checkpoint不匹配造成电音现象，我们这几天会仔细检查尽快更新出正确的版本。 我们会提供V2C和Chem两个数据集的pretrain model帮助您正常完成inference, 非常感谢您的关注，请您注意更新如果还有问题可以随时和我联系～ Chem数据集的特征已上传完成，密码chem～

如果方便的话 希望能将数据特征提取的步骤再详细写下，想要学习下

好的～我们会提供更加详细地处理流程

XiaoYuanJun-zy commented 9 months ago

之前整理地有些仓促模型缺失了一些细节和checkpoint不匹配造成电音现象，我们这几天会仔细检查尽快更新出正确的版本。 我们会提供V2C和Chem两个数据集的pretrain model帮助您正常完成inference, 非常感谢您的关注，请您注意更新如果还有问题可以随时和我联系～ Chem数据集的特征已上传完成，密码chem～

感谢作者您在百忙之中解决我们遇到的问题. 这是我自己训练的模型，作者您那里训练到最后total loss大概是多少呢？ image image

issuer2002 commented 9 months ago

之前整理地有些仓促模型缺失了一些细节和checkpoint不匹配造成电音现象，我们这几天会仔细检查尽快更新出正确的版本。 我们会提供V2C和Chem两个数据集的pretrain model帮助您正常完成inference, 非常感谢您的关注，请您注意更新如果还有问题可以随时和我联系～ Chem数据集的特征已上传完成，密码chem～

感谢作者您在百忙之中解决我们遇到的问题. 这是我自己训练的模型，作者您那里训练到最后total loss大概是多少呢？ image image

我在chem特征训练了下，total loss如下： image

GalaxyCong commented 9 months ago
image image

Hello，XiaoYuan, issuer2002 抱歉回复的太迟，chem数据集的loss大约在1.7左右，V2C的loss在2.5左右，参数需要略微调整一下，老的版本缺失了一些细节，给您造成困扰还望谅解

XiaoYuanJun-zy commented 9 months ago

image image Hello，XiaoYuan, issuer2002 抱歉回复的太迟，chem数据集的loss大约在1.7左右，V2C的loss在2.5左右，参数需要略微调整一下，老的版本缺失了一些细节，给您造成困扰还望谅解

好哒，特别感谢您的真诚回复。我再重新调整一下参数试试。

issuer2002 commented 9 months ago

之前整理地有些仓促模型缺失了一些细节和checkpoint不匹配造成电音现象，我们这几天会仔细检查尽快更新出正确的版本。 我们会提供V2C和Chem两个数据集的pretrain model帮助您正常完成inference, 非常感谢您的关注，请您注意更新如果还有问题可以随时和我联系～ Chem数据集的特征已上传完成，密码chem～

如果方便的话 希望能将数据特征提取的步骤再详细写下，想要学习下

好的～我们会提供更加详细地处理流程

请问作者什么时间能更新一下数据特征提取的详细步骤，包括数据准备之类得。很想学习一下，感谢~

GalaxyCong commented 9 months ago

之前整理地有些仓促模型缺失了一些细节和checkpoint不匹配造成电音现象，我们这几天会仔细检查尽快更新出正确的版本。 我们会提供V2C和Chem两个数据集的pretrain model帮助您正常完成inference, 非常感谢您的关注，请您注意更新如果还有问题可以随时和我联系～ Chem数据集的特征已上传完成，密码chem～

如果方便的话 希望能将数据特征提取的步骤再详细写下，想要学习下

好的～我们会提供更加详细地处理流程

请问作者什么时间能更新一下数据特征提取的详细步骤，包括数据准备之类得。很想学习一下，感谢~

您好！抱歉回复太迟，还望谅解。大约下周一之前会发给您哈

issuer2002 commented 9 months ago

之前整理地有些仓促模型缺失了一些细节和checkpoint不匹配造成电音现象，我们这几天会仔细检查尽快更新出正确的版本。 我们会提供V2C和Chem两个数据集的pretrain model帮助您正常完成inference, 非常感谢您的关注，请您注意更新如果还有问题可以随时和我联系～ Chem数据集的特征已上传完成，密码chem～

如果方便的话 希望能将数据特征提取的步骤再详细写下，想要学习下

好的～我们会提供更加详细地处理流程

请问作者什么时间能更新一下数据特征提取的详细步骤，包括数据准备之类得。很想学习一下，感谢~

您好！抱歉回复太迟，还望谅解。大约下周一之前会发给您哈

十分感谢！我的邮箱是wxdl2002@163.com