search

exisas / LGC-VD

MIT License
35 stars 2 forks source link

训练stage2的时候，timesteps的设置的问题 #7

Open tangdong1994 opened 4 months ago

tangdong1994 commented 4 months ago

你好，我看你的代码和你的论文中提到的一些细节有些对不上，不知道是不是我理解错了，就是我看论文中提到，用将x0加噪声到592步，然后预测的x0_hat，作为下一段视频生成的last clip；但是我看你的代码里面在训练的时候，好像没有固定为592步去训练stage2，是有什么考量吗？还是实验证明随机步长得到的效果也挺好这种

exisas commented 4 months ago

你好，我看你的代码和你的论文中提到的一些细节有些对不上，不知道是不是我理解错了，就是我看论文中提到，用将x0加噪声到592步，然后预测的x0_hat，作为下一段视频生成的last clip；但是我看你的代码里面在训练的时候，好像没有固定为592步去训练stage2，是有什么考量吗？还是实验证明随机步长得到的效果也挺好这种

训练过程中没有固定为592步去训练stage2，论文中的592是可视化结果的时候随便选的

tangdong1994 commented 4 months ago

好的，谢谢了；就是我还有一个问题，就是关于误差累积的问题，就是我的自回归的推理生成一直有一个问题，就是生成的内容随着推理的内容越长，后面生成的细节会越来越差，就比如我生成一个人站着不动，这个人身上的颜色和细节会越来越差，不知道你有没有遇到过这个问题呢