search

qiuyu96 / CoDeF

[CVPR'24 Highlight] Official PyTorch implementation of CoDeF: Content Deformation Fields for Temporally Consistent Video Processing
https://qiuyu96.github.io/CoDeF/
Other
4.84k stars 385 forks source link

这个项目依赖于ControlNet么? #55

Closed wpl427 closed 1 year ago

wpl427 commented 1 year ago

/content/CoDeF/ckpts/all_sequences/scene_0/base_control 这个路径下面的图片是怎么来的?

yishuaidu commented 1 year ago

我是先跑 test_multi.sh， 然后里面会有个 canonical_0.png 然后把这个图 ， 拿到扩散模型里面， 用ControlNet 生成一张你喜欢的风格的， 然后放到这个里面， 跑test_canonical.sh

jackylee1 commented 1 year ago

我是先跑 test_multi.sh， 然后里面会有个 canonical_0.png 然后把这个图 ， 拿到扩散模型里面， 用ControlNet 生成一张你喜欢的风格的， 然后放到这个里面， 跑test_canonical.sh

是这样的吗？我经常跑出来canonical都很模糊，这怎么放到control net

yishuaidu commented 1 year ago

你找个背景简单点的先试试看， 复杂的我也模糊，再看怎么解决

ken-ouyang commented 1 year ago

风格转换可以用controlNet，也可以用其他的，但是比较推荐controlNet，因为对的比较齐而且texture质量比较高。现在对一些复杂场景和长视频，我们也在做更多的improvement，请期待之后的更新。