TMElyralab / MuseV

MuseV: Infinite-length and High Fidelity Virtual Human Video Generation with Visual Conditioned Parallel Denoising
Other
2.1k stars 214 forks source link

为什么有时在没有改变参数的情况下人物会完全不眨眼? #116

Open mkjiang opened 1 month ago

mkjiang commented 1 month ago

eye_blinks_factor:1.8 眨眼过于频繁,尝试了改变数值后人物开始完全不眨眼,即使回到1.8还是一样, 什么原因呢?

xzqjack commented 1 month ago

@mkjiang 可能是修改了 img_weight、w_ind_noise这些参数?你可以看看这些参数,这些参数对于视频变化影响比较大。

akk-123 commented 1 month ago

@xzqjack 什么时候会有技术报告和训练代码呢

mkjiang commented 1 month ago

@xzqjack 比较奇怪的是我并没有修改那些参数,仅仅就修改了eye_blink_factor, 比如1.3的时候会完全不眨眼,即使改回1.8要试多次后才能眨眼,有点非常琢磨不透

xzqjack commented 1 month ago

@xzqjack 什么时候会有技术报告和训练代码呢

@akk-123 训练代码在 train分支,还没有整理。 技术报告 快了,后面会先出个使用文档。

xzqjack commented 1 month ago

@xzqjack 比较奇怪的是我并没有修改那些参数,仅仅就修改了eye_blink_factor, 比如1.3的时候会完全不眨眼,即使改回1.8要试多次后才能眨眼,有点非常琢磨不透

@mkjiang 这是比较常见的,说明模型的泛化能力训练得不够,在一些测试数据上表现得不稳定。