haofengl / DragNoise

[CVPR2024] Official code for Drag Your Noise: Interactive Point-based Editing via Diffusion Semantic Propagation
81 stars 4 forks source link

请问你有对模型耗时部分和点编辑跟踪具体情况做比较么? #1

Closed xuyu666 closed 7 months ago

xuyu666 commented 7 months ago

作者你好: 恭喜你喜提cvpr2024,论文的效果很好。我看完论文后,有两个想了解的点,想向你请教下哈哈。

1、模型耗时部分。 针对文章你提到的比DragDiffusion在点编辑的速度上快一倍,你有进行定量的比较过么,具体数值是啥呀?同时注意到你需要的Lora步数为200步,是否有其存在的原因,会增加不少耗时么?

2、点编辑和点跟踪是否到位? DragDiffusion可能存在点编辑和点跟踪不到位的情况,具体表现在起点在完成编辑过程后,不能很好的跟进到设置终点的位置。请问你有做对应的优化或者可视化么?

祝生活愉悦~

haofengl commented 7 months ago

谢谢! 1.定量比较在文章中有。没有做过大量的实验,没有得出具体数值。DragNoise的时间主要是在于优化步数上大概减少50%。我们文章中展现的图片训练的LoRA步数均为60步,只有在DragBench数据集上测试时,为了公平对比,采用了DragBench给出的超参数即200步的LoRA,也就是说LoRA训练步数和dragdiffusion是一致的,时间消耗并不在LoRA部分。

2.没有做大量的可视化,在最初实验时我关注了大概30张编辑结果,是对齐到目标点的,后面就没在关注此部分。