--video_has_condition 参数无效

SoaringTiger commented 3 weeks ago

video2video时,无论是否添加--video_has_condition, 生成视频的第一帧都是给的参考帧 condition_images: "/origin/frame000001.webp"

python scripts/inference/video2video.py \ --sd_model_name majicmixRealv6Fp16 \ --unet_model_name musev_referencenet_pose \ --referencenet_model_name musev_referencenet \ --ip_adapter_model_name musev_referencenet_pose \ --vision_clip_extractor_class_name ImageClipVisionFeatureExtractor \ --vision_clip_model_path ./checkpoints/IP-Adapter/models/image_encoder \ -test_data_path tasks/tasks.yaml \ --output_dir /output \ --n_batch 1 \ --controlnet_name "dwpose_body_hand" \ --which2video "video_middle" \ --target_datas task-1 \ --time_size 200 \ --fps 12 --video_has_condition

- name: "task-1"
  prompt: "(masterpiece, best quality, highres:1),(1girl, solo:1)"
  video_path: "/pose/00001.mp4"
  condition_images: "/origin/frame000001.webp"
  refer_image: "${.condition_images}"
  ipadapter_image: "${.condition_images}"
  height: 1350
  width: 896
  img_length_ratio: 0.625
  video_is_middle: True

xzqjack commented 3 weeks ago

@SoaringTiger 存储视频的第一帧永远是给定的第一帧。video_has_condition 是用于 condition_images和参考视频第一帧的condition(pose等)不匹配的时候，将condition_images的 condition 提取拼接到 video_path 中去，不这样做效果会差些。目前只支持 video_is_middle。

SoaringTiger commented 3 weeks ago

@SoaringTiger 存储视频的第一帧永远是给定的第一帧。video_has_condition 是用于 condition_images和参考视频第一帧的condition(pose等)不匹配的时候，将condition_images的 condition 提取拼接到 video_path 中去，不这样做效果会差些。目前只支持 video_is_middle。

好的,明白了.

TMElyralab / MuseV

--video_has_condition 参数无效 #137