颈部抖动 眨眼有些问题

[Wangman1]

您好，我只训练 head 部分，使用了au45中的眼部特征，这里有三个问题，测试使用了--smooth_path： 1、训练完后脖子有些抖动 2、眨眼有问题 3、这里 parsing 肩膀有问题，需要通过parsing模型来解决吗 麻烦您帮忙看看是我什么参数设置错误了吗，还有就是，谢谢您~

https://github.com/Fictionarry/ER-NeRF/assets/33320872/b6200c18-7086-4cbe-bb05-41e221f2ff13

[Fictionarry]

您好，

1. head的重建不包括脖子，抖动应该主要源于视频里原有的颈部变化与新音频的不一致
2. 眨眼确实有时候会有半透明的情况，目前我没有发现稳定的解决方法，可以尝试增加epoch并适当调低scheduler的末尾学习率
3. 目前看来parsing在很多情况下对肩部的处理会有问题。不训练torso的情况下可以参考DFRF，只分离出头部，将其余部分全当作背景，以避免做肩部和背景的分割。

[Wangman1]

非常感谢您的回复，我还有一个问题想请教一下，下面这个视频的下半脸有些抖动，但我不知道具体原因是什么，麻烦您帮忙看看

https://github.com/Fictionarry/ER-NeRF/assets/33320872/b41803dc-6f5f-4748-849d-4c25ffe9b46b

[Fictionarry]

非常感谢您的回复，我还有一个问题想请教一下，下面这个视频的下半脸有些抖动，但我不知道具体原因是什么，麻烦您帮忙看看

这是没有训练好的表现，obama按照script训应该是比较稳定的，不知道您改了哪些地方

[Wangman1]

我没有修改，是按这个命令来训练的 python main.py data/obama/ --workspace trial_obama_add_eye/ -O --iters 125000 --finetune_lips --patch_size 32

[Fictionarry]

我没有修改，是按这个命令来训练的 python main.py data/obama/ --workspace trial_obama_add_eye/ -O --iters 125000 --finetune_lips --patch_size 32

python main.py data/obama/ --workspace trial_obama/ -O --iters 100000 python main.py data/obama/ --workspace trial_obama/ -O --iters 125000 --finetune_lips --patch_size 32 这是两个stage，需要按先后次序依次运行

[Wangman1]

哇，好的感谢您，我没有单独进行第一个步骤的训练，应该是这里的问题啦，谢谢~🤩

[Wangman1]

@Fictionarry ，还有一个问题想请教一下您，测试时使用 --test 和 --test_train 具体有什么区别呢（从log来看是 load 的图片不同），我不太理解如何使用的这两份数据。

[Fictionarry]

@Fictionarry ，还有一个问题想请教一下您，测试时使用 --test 和 --test_train 具体有什么区别呢（从log来看是 load 的图片不同），我不太理解如何使用的这两份数据。

--test指test模式，默认情况下用的pose序列是验证集的数据；--test_train指的是改用训练集的pose数据 参数作用大部分与rad-nerf一致，可以参考rad-nerf中的详细说明

[Wangman1]

@Fictionarry ，还有一个问题想请教一下您，测试时使用 --test 和 --test_train 具体有什么区别呢（从log来看是 load 的图片不同），我不太理解如何使用的这两份数据。

--test指test模式，默认情况下用的pose序列是验证集的数据；--test_train指的是改用训练集的pose数据 参数作用大部分与rad-nerf一致，可以参考rad-nerf中的详细说明

好嘞，感谢您~~

[Wangman1]

@Fictionarry ，您好，不好意思再次打扰您，我按照先训练全图再微调 lip 的训练方式训练 obama 视频后，效果确实变好了，但下半脸还是有些轻微抖动，您有好的解决方法吗，感谢您~

https://github.com/Fictionarry/ER-NeRF/assets/33320872/960e031a-98dc-4509-83f6-4080ffaa81a7

[Fictionarry]

@Fictionarry ，您好，不好意思再次打扰您，我按照先训练全图再微调 lip 的训练方式训练 obama 视频后，效果确实变好了，但下半脸还是有些轻微抖动，您有好的解决方法吗，感谢您~

这个实际上已经比较接近gt了，如果需要更平滑的话可以推理时加--smooth_lips，系数在代码里调

[Wangman1]

@Fictionarry ，您好，不好意思再次打扰您，我按照先训练全图再微调 lip 的训练方式训练 obama 视频后，效果确实变好了，但下半脸还是有些轻微抖动，您有好的解决方法吗，感谢您~

这个实际上已经比较接近gt了，如果需要更平滑的话可以推理时加--smooth_lips，系数在代码里调

😄 感谢您~~~

[einsqing]

@Fictionarry ，您好，不好意思再次打扰您，我按照先训练全图再微调 lip 的训练方式训练 obama 视频后，效果确实变好了，但下半脸还是有些轻微抖动，您有好的解决方法吗，感谢您~

obama_ngp_24.mp4

兄弟，你这用什么命令训练和推理的？我训练出来的 obama 怎么没你的效果好？

[Wangman1]

@Fictionarry ，您好，不好意思再次打扰您，我按照先训练全图再微调 lip 的训练方式训练 obama 视频后，效果确实变好了，但下半脸还是有些轻微抖动，您有好的解决方法吗，感谢您~ obama_ngp_24.mp4

兄弟，你这用什么命令训练和推理的？我训练出来的 obama 怎么没你的效果好？

python main.py data/obama/ --workspace trial_obama/ -O --iters 100000 python main.py data/obama/ --workspace trial_obama/ -O --iters 125000 --finetune_lips --patch_size 32

就是按作者大佬给出的这两步命令，先执行第一个，后执行第二个

[Wangman1]

@Fictionarry ，大佬，我想再向您请教一下，er-nerf 是否有可能实现在移动端的推理？如果可以的话，大概需要修改哪些部分呢。

[piwawa]

这个项目是不是完全不能用长头发的视频训练？

[kike-0304]

您好，我只训练 head 部分，使用了au45中的眼部特征，这里有三个问题，测试使用了--smooth_path： 1、训练完后脖子有些抖动 2、眨眼有问题 3、这里 parsing 肩膀有问题，需要通过parsing模型来解决吗 麻烦您帮忙看看是我什么参数设置错误了吗，还有就是，谢谢您~

ngp_ep0110_smooth_path.mp4 一样，脖子一直在抖动，请问您怎么解决的

[Wangman1]

您好，我只训练 head 部分，使用了au45中的眼部特征，这里有三个问题，测试使用了--smooth_path： 1、训练完后脖子有些抖动 2、眨眼有问题 3、这里 parsing 肩膀有问题，需要通过parsing模型来解决吗 麻烦您帮忙看看是我什么参数设置错误了吗，还有就是，谢谢您~ ngp_ep0110_smooth_path.mp4 一样，脖子一直在抖动，请问您怎么解决的

我训练了 torso 后脖子抖动问题基本得到的解决，您也可以尝试一下训练 torso

[wuzuyin]

请问为什么要对相机位姿进行下面这个操作

[pipashu1]

您好，我只训练 head 部分，使用了au45中的眼部特征，这里有三个问题，测试使用了--smooth_path： 1、训练完后脖子有些抖动 2、眨眼有问题 3、这里 parsing 肩膀有问题，需要通过parsing模型来解决吗 麻烦您帮忙看看是我什么参数设置错误了吗，还有就是，谢谢您~

ngp_ep0110_smooth_path.mp4

请问您是 怎么上传视频的呢

[xiaoxiongzhg]

您好，我只训练头部部分，使用了au45中的眼部特征，这里有三个问题，测试使用了--smooth_path： 1、训练完成后颈部有些倾斜 2、眨眼有问题 3、这里解析颈部有问题，需要通过解析模型来解决吗麻烦您帮忙看看是我什么参数设置错误了吗，还有就是，谢谢您~ ngp_ep0110_smooth_path.mp4 一样，脖子一直在矫正，请问您怎么解决的

我训练了躯干后颈部骨折问题得到了基本的解决，您也可以尝试一下训练躯干

您好打扰一下，我用的他给出的脖子训练指令，默认20000轮，脖子还是有很明显的骨折，请问是需要加大轮次吗，可以给一些建议吗，感谢

[ChiaLinz]

@xiaoxiongzhg

可以增加訓練步數，應該可以改善到一定程度。 或是重新訓練脖子及身體部分整體移動幅度較小的素材。

[ligyvip]

有没有人知道，我训练出来的 嘴巴部分比较模糊！应该要增加训练哪里？还有如何增加训练步数