search

williamyang1991 / Rerender_A_Video

[SIGGRAPH Asia 2023] Rerender A Video: Zero-Shot Text-Guided Video-to-Video Translation
https://www.mmlab-ntu.com/project/rerender/
Other
2.96k stars 202 forks source link

闪烁问题 #126

Open linghu-cell opened 7 months ago

linghu-cell commented 7 months ago

为什么我将视频重绘了，利用关键帧在生成视频，视频还是很闪烁？

williamyang1991 commented 7 months ago

你的问题没有给出信息量，我无法帮助你

linghu-cell commented 7 months ago

您好，谢谢您的回复。我是使用Ebsynth的python脚本，将风格化的关键帧设置为每 5 帧，使用泊松渐变混合在视频的前 90 帧上运行 Ebsynth，使用以下命令将结果保存：python video_blend.py C:\Users\silive\Desktop\result\de --beg 0 --end 90 --itv 5 --key keys --output C:\Users\silive\Desktop\result\de\test.mp4 --fps 30.0 --n_proc 4 -ps，结果生成的视频很闪烁，请问这个问题怎么解决办法，或者优化方法？

下面是利用ebsynth进行补帧的数据：第一帧 -> 关键帧 -> 原始视频的分帧 -> 补帧后生成的结果

第一帧： first

关键帧： 0000 0005 0010 0015 0020 0025 0030 0035 0040 0045 0050 0055 0060 0065 0070 0075 0080 0085 0090

原始视频的分帧： 0000 0001 0002 0003 0004 0005 0006 0007 0008 0009 0010 0011 0012 0013 0014 0015 0016 0017 0018 0019 0020 0021 0022 0023 0024 0025 0026 0027 0028 0029 0030 0031 0032 0033 0034 0035 0036 0037 0038 0039 0040 0041 0042 0043 0044 0045 0046 0047 0048 0049 0050 0051 0052 0053 0054 0055 0056 0057 0058 0059 0060 0061 0062 0063 0064 0065 0066 0067 0068 0069 0070 0071 0072 0073 0074 0075 0076 0077 0078

输出的视频结果： https://github.com/williamyang1991/Rerender_A_Video/assets/152581017/c5cfb1cd-9495-4bf2-9775-6387c6fc8383

williamyang1991 commented 7 months ago

未风格化的原视频第一帧长什么样

linghu-cell commented 7 months ago

未风格化的原视频第一帧长什么样

没有风格化的第一帧 0000

williamyang1991 commented 7 months ago

我不确定能否帮你解决闪烁问题，只能给你些建议试试

  1. 针对有些手部变得很奇怪的问题，我建议你使用loose-cross-frame-attention，可能会缓解这些问题 image
  2. 关掉泊松渐变融合可能会更平滑一点
  3. 你的视频里面存在场景切换，可以每个场景单独处理
  4. Pixel-aware fusion detail level开小一点
  5. Pixel-aware fusion strength开小一点
  6. Pixel-aware fusion end开大一点

至于EbSynth，因为它除了泊松渐变融合也没有其他可调的参数了，所以这部分我也没有好的改进建议

linghu-cell commented 7 months ago

十分感谢您的建议，这对我很有用。 我在生成过程中，查看了整个生成文件，在生成文件中有一个tmp文件，这个文件应该和 gmflow 有关，其中生成的图片应该就是导致视频闪烁的原因。您能解答一下gmflow 的生成原理吗？

下面是 tmp 文件中部分图片： temporal_0002 temporal_0003 temporal_0004 temporal_0005

这是文件目录： image

williamyang1991 commented 7 months ago

gmflow是光流，找两张图像之间每个像素的对应关系。如果你的视频压缩很厉害，或者很多区域是纯色块，这部分就很难找到准确的对应关系，因此就会有闪烁的问题

linghu-cell commented 7 months ago

gmflow是光流，找两张图像之间每个像素的对应关系。如果你的视频压缩很厉害，或者很多区域是纯色块，这部分就很难找到准确的对应关系，因此就会有闪烁的问题

好的，谢谢您的回复

BITHG287 commented 6 months ago

为什么我将视频重绘了，利用关键帧在生成视频，视频还是很闪烁？

怎么样，问题解决了吗？我这边也是闪烁。。。

linghu-cell commented 6 months ago

为什么我将视频重绘了，利用关键帧在生成视频，视频还是很闪烁？

怎么样，问题解决了吗？我这边也是闪烁。。。

没有