ChenyangQiQi / FateZero

[ICCV 2023 Oral] "FateZero: Fusing Attentions for Zero-shot Text-based Video Editing"
http://fate-zero-edit.github.io/
MIT License
1.12k stars 108 forks source link

config argument and editing guidance #14

Closed hsdjkfnsfc closed 1 year ago

hsdjkfnsfc commented 1 year ago

比如说blend_words 这个是干什么的呀?

ChenyangQiQi commented 1 year ago

Hi, blend_words' are words in the source prompt that we want to edit, while the elements of other words in the source prompt will be preserved. We have updated the editing guidance here.

你好,‘blend_words' 是源提示句中我们要编辑的单词,而源提示句中的其他词代表的元素都会被尽量保留。 我们更新了编辑指南。里面每个参数都有一句话介绍对应的意义。

如果你还有疑问,可以继续提出

hsdjkfnsfc commented 1 year ago

hi,感谢回答,除此之外还有一些param想请教一下,比如,stride,samplerate,offset,guidance_scale影响的是什么,而且为什么p2pconfig 会有多个item,比如0,1,2..这些都是有什么用处呀

hsdjkfnsfc commented 1 year ago

还有eq_params和blend_words作用冲突么

ChenyangQiQi commented 1 year ago

stride,samplerate,offset 都是用来控制dataset里面采样和crop的方式。可以参照一下dataset的代码。 guidance_scale 等请在Google/知乎 搜索 "classifier-free guidance" 相关基础理论,或者论文。 p2pconfig 是和上方的editing prompt 一一对应。你可以给每个editing prompt 单独设置 attention fusion 的config。 eq_params和blend_words不冲突。

hsdjkfnsfc commented 1 year ago

感谢回复!!顺便想问一下,这个项目能做到不改变目标只改变背景么,我试了一下例子,用sd1-5作为模型,发现基本上所有的画面都修改了,有没有什么经验可以传授下~

ChenyangQiQi commented 1 year ago

前景和背景是相对而言的概念。我们的大部分例子是改前景。也有些改背景的例子可以参考一下 譬如这个这个. sd1-5 和 sd1-4应该效果近似。如果你发现所有画面都修改了,可能是因为blending mask 的config不符合你的需求,需要调整,或者用脚本搜索一下超参数值。如果你的blending_mask (保存在 cross_attn 或者 sample_x_x_att.mp4)正确了。后面只需要打开 config 里的 blending_latents 或者blending_attention就可以实现局部编辑

hsdjkfnsfc commented 1 year ago

blend mask 的超参数值是哪个呀~

ChenyangQiQi commented 1 year ago

我没有特别明白你的问题。如果你问的是我上面回答里面的 “如果你的blending_mask”, 我这里的blending mask意思不是超参数,而是直接的语义:用于 blending self-attention 和latents的 mask。