search

Fictionarry / TalkingGaussian

[ECCV'24] TalkingGaussian: Structure-Persistent 3D Talking Head Synthesis via Gaussian Splatting
https://fictionarry.github.io/TalkingGaussian/
194 stars 25 forks source link

修改tracking后生成的视频出现了很多问题 #30

Open xiaoqidaov2 opened 3 weeks ago

xiaoqidaov2 commented 3 weeks ago

1.face_tracking 替换为 synctalk 的 face_tracking 2.在process.py 中添加了 sycntalk 预处理代码中的extract_flow 和 extract_blendshape。修改save_transforms 加载的是 bundle_adjustment.pt 文件，而不是之前的 track_params.pt。修改取消对 trans 进行缩放（即没有 trans / 10.0）。

将tracking 替换为synctalk 的tracking 遇到了很多问题如下视频所示

https://github.com/user-attachments/assets/ca6e7b77-5114-494a-9953-91420b7f2965

@Fictionarry 您能看出是什么导致出现这类问题吗，牙齿部分很奇怪

Fictionarry commented 2 weeks ago

头部pose不太对，抖得太厉害，看一下是不是替换过程中哪里有问题吧

xiaoqidaov2 commented 2 weeks ago

头部pose不太对，抖得太厉害，看一下是不是替换过程中哪里有问题吧

这几天我也在排查，包括换其他人说的办法，也遇到了其他人遇到的问题，但奇怪的是，他们的解决办法我使用后解决不了，让人头疼不解。