search

TMElyralab / MuseV

MuseV: Infinite-length and High Fidelity Virtual Human Video Generation with Visual Conditioned Parallel Denoising
Other
2.1k stars 214 forks source link

用自带的图片能生成眨眼视频，但用自己自拍的图片却不能 #136

Open NimbleDev opened 1 month ago

NimbleDev commented 1 month ago

命令如下，用自带的yongen.jpeg图片能生成眨眼的视频，但用自拍的图片，只能看到眼珠轻微地动，没有眨眼，请问是什么原因啊？

python scripts/inference/text2video.py --sd_model_name fantasticmix_v10 --unet_model_name musev_referencenet --referencenet_model_name musev_referencenet --ip_adapter_model_name musev_referencenet -test_data_path ./configs/tasks/example.yaml --output_dir ./output --n_batch 1 --target_datas charlie --vision_clip_extractor_class_name ImageClipVisionFeatureExtractor --vision_clip_model_path ./checkpoints/IP-Adapter/models/image_encoder --time_size 360 --fps 12

xzqjack commented 3 weeks ago

@NimbleDev 因为模型训练数据比较小，泛化能力不是很高，有的图片生成难度会高些，可以通过prompt强化眨眼，也可以通过调节 img_weight、w_ind_noise来增强图片动作。