Closed potentialming closed 2 hours ago
AlonzoLeeeooo
commented
3 hours ago 您好，我复现的代码来自ControlNeXt-SVD-v2的官方仓库。关于其他部分没有修改，直接是遵循官方代码中的实现，仅仅做了代码的清理、变量名修改这种简单的工作。
你说的这个情况其实我也有碰到过，事实上这个应该是SVD的问题，而并非ControlNeXt-SVD-v2的问题。个人感觉Stability AI他们做的这一版SVD模型性能还比较粗糙，可以尝试用一下阿里他们的I2VGen-XL（已有diffusers实现，链接为官方实现），效果会更好。
potentialming
commented
2 hours ago 您好，我复现的代码来自ControlNeXt-SVD-v2的官方仓库。关于其他部分没有，直接是遵循修改修改官方代码中的实现，简单做了代码的清理、变量名这样简单的工作。
你说的这个情况其实我也有过一遍，其实这个应该是SVD的问题，而不是ControlNeXt-SVD-v2的问题。个人感觉Stability AI他们做的这个版本SVD模型性能还比较粗糙，可以尝试一下用一下阿里他们的I2VGen-XL（已有diffusers实现，链接为官方实现），效果会更好。
感谢您的耐心解答，那么您之后是如何解决这个问题的？或者，我使用您这个代码是否还会出现类似问题？也非常感谢您的推荐，我之后会去研究一下i2VGen。再次感谢
AlonzoLeeeooo
commented
2 hours ago 后续由于一些其他原因，这个问题就暂时搁置了，我当时碰见这个问题使用的就是目前这个仓库的代码。我的个人建议是用更好的image-to-video generation models去替代SVD，可能会是一个可能的解决方案，供参考。
potentialming
commented
2 hours ago 好的，知道了，感谢解答
请问你复现的是controlNeXt-svd v2吗？你除了改变了控制条件，是否对模型的结构，或者训练过程进行修改？因为我在复现controlNeXt-svd v2训练的过程中，出现推理所得到的图片动作不变的情况。请问你遇到过这种情况吗？或者你的代码是否已经解决了此问题？非常需要你的帮助，提前感谢！