jdh-algo / JoyHallo

JoyHallo: Digital human model for Mandarin
https://jdh-algo.github.io/JoyHallo/
MIT License
358 stars 35 forks source link

似乎是用的数据集有问题 #9

Closed O-O1024 closed 1 month ago

O-O1024 commented 2 months ago

使用 JoyHallo 运行,人物出现的问题:

  1. 脸部变形;突然突出像鱼鳃一样;嘴巴也不对劲,尤其是两侧 371280723-8d3a7591-f73b-4935-b5bf-4fe639a3e1e2

  2. 有皱纹,明明人物很年轻,突然出现几条很粗的皱纹 image

不知道是不是数据集有问题(数据集是京东快退休的员工录的? “😂”)

LvHuaiSheng commented 2 months ago

请问这个的推理速度怎么样

DBDXSS commented 2 months ago

谢谢您提出相关问题:

  1. 在某些发音时,面部会鼓起向外突出,产生像鱼鳃一样的效果;
  2. 我们也发现在某些情况下确实会产生有皱纹的情况,建议适当调整面部区域占比大小多次尝试,在大部分情况下不会发生这种情况。您说的情况确实是一个可能的原因,我们的数据集分布较为广泛,包含了各个年龄段以及不同的工作岗位,其中就有我们的全职医生同事,我们会考虑您反馈的问题,在未来做出更个性化的模型。

https://github.com/user-attachments/assets/0427015e-6ed9-4976-acd9-344720795d99

DBDXSS commented 2 months ago

请问这个的推理速度怎么样

现在的模型在A100速度是16帧视频需要23s左右,我们正在进一步优化模型结构和推理流程,在不久的将来,我们会放出轻量化的模型,让我们一起期待😊。

O-O1024 commented 2 months ago

请问这个的推理速度怎么样

使用accerate加速速度也没得到提升,感觉还是老样子,推理要多轮运行,出现很多次进度条,显存占用非常大

DBDXSS commented 2 months ago

请问这个的推理速度怎么样

使用accerate加速速度也没得到提升,感觉还是老样子,推理要多轮运行,出现很多次进度条,显存占用非常大

现在release的版本速度提升大约15%,显存占用大是因为增加了部分功能用于进一步提升图像质量,在我们最新的模型中,推理速度可以提升五倍以上,未来我们会release,敬请期待

DBDXSS commented 2 months ago

我们更新了一个设置,可以参考Kindly remind进行调整,推理速度可以进一步提升60%以上。

We have updated a setting. You can refer to Kindly remind for adjustment. The inference speed can be further improved by more than 60%.

liutaocode commented 1 week ago

是不是因为录制的时候打光的原因?

DBDXSS commented 6 days ago

是不是因为录制的时候打光的原因?

可能存在这部分原因