Yujun-Shi / DragDiffusion

[CVPR2024, Highlight] Official code for DragDiffusion
https://yujun-shi.github.io/projects/dragdiffusion.html
Apache License 2.0
1.13k stars 82 forks source link

有没有一些提速上的建议呢? #48

Open zbtrs opened 10 months ago

zbtrs commented 10 months ago

用了最新版本的代码,在A100服务器上从训lora到drag一张图大概要50秒的时间。如果想处理多个图片,速度显得有点慢了,有没有方法可以提速呢?

Yujun-Shi commented 9 months ago

hello,感谢关注我们的工作。目前我们update的代码,lora的训练会更快(用了batch size为4,lora training step为80,lora learning rate为5e-4)。 如果想继续显著提速的话,有一个方案就是增大latent_lr这个参数(比如改成0.02, 0.04)。因为我们的方法是通过优化latent来实现编辑的。所以如果增大learning rate就可以更快的把handle point拖拽到target。 但这样做的问题是,在个别情况下,最后的结果效果会差一些。因为增大learning rate会导致优化没有那么精细。